CC BY
115
МЕТОДИКА И ТЕХНИКА ИССЛЕДОВАНИИ
Владимир ПАНИОТТО Наталья ХАРЧЕНКО
Кризис в методах опроса и пути его преодоления*
Опросы — это метод сбора информации, который чаще всего ассоциируется с социологией. Судя по всему, значительная часть населения и не подозревает, что социологи заняты еще чем-либо, кроме опросов общественного мнения. Технологии опросов постоянно совершенствовались, и, казалось, полстеры могут с оптимизмом смотреть в будущее. Жизнь, однако, оказалась более сложной.
История опросов. История опросов уходит в XIX век, два первых исторически зафиксированных опроса проведены в США и датируются началом 1824 г. С тех пор почти за 200 лет истории опроса его развитие шло поступательно, методы опроса совершенствовались, качество данных улучшалось, и этот прогресс продолжался до конца ХХ — начала XXI века.
Б. Докторов выделяет три этапа развития общественного мнения1:
Первый этап: 1789-1824 годы. Возникновение в Америке политических, социальных и информационных предпосылок для начала зондирования мнений избирателей. Проведение первых «соломенных» опросов (так называли опросы, проведенные по упрощённым схемам, нерепрезентативным выборкам, снижающим качество получаемой информации). Название связывают с аналогией опросов и подброшен-
* Статья подготовлена на основе доклада, сделанного авторами на 4-й конференции Европейской ассоциации опросов (ESRA conference in Lausanne, July 18 to July 22, 2011) и модифицированной версии этого доклада, представленной на конференции «Кризис в методах опроса и пути его преодоления» (Киев, 28-30 октября 2011).
1 Докторов Б.З. Отцы-основатели: история изучения общественного мнения. - М.: 2006, с.71.
ной кверху соломы, движение которой должно показать, куда дует ветер.
Второй этап: 1825 —1936 годы. Период доминирования соломенных опросов электората.
Третий этап: 1936 — настоящее время. Возникновение и доминирование технологии Гэл-лапа (репрезентативные выборки, чёткие процедуры проведения опросов), постепенное осознание реальных возможностей различных опросных технологий и поиск оптимальных исследовательских стратегий, возникновение пост-гэллаповских технологий.
Интересно сопоставление хронологии изучения общественного мнения в США и в России-СССР, ниже приведен фрагмент таблицы из доклада Б. Докторова2.
Как видим, первые опросы общественного мнения в США приходятся на период движения декабристов, а регулярное проведение прото-соломенных опросов — на отмену крепостного права в России. Понятно, что уровень развития методов опроса в странах бывшего Советского Союза, в том числе и в Украине, существенно отставал от западных стран. Однако оказалось, что и на Западе технологии опроса столкнулись с проблемами. К сожалению, в конце XX — начале XXI века развитие опроса и, прежде всего, очного интервью «лицом к лицу» (face-to-face или F2F), доминировавшего многие годы, стало испытывать сложности, процент тех, кто ответил на интервью по отношению ко всем, кто попал в выборку (response rate или RR), постоянно падал, все чаще интервью «лицом к лицу»
2 Докторов Б. Общественное мнение и власть. Размышления по поводу американской истории. Санкт-Петербург, 2004 (доклад на конференции).
Таблица 1
ХРОНОЛОГИЯ ИЗУЧЕНИЯ ОБЩЕСТВЕННОГО МНЕНИЯ В АМЕРИКЕ (И ФРАГМЕНТЫ РОССИЙСКОЙ ИСТОРИИ)
Хронология: периоды, годы Процессы, события
США Начало эры прото-соломенных опросов. Россия-СССР-Россия
1824 год Александр 1 (1801 - 1825); Николай 1 (18251855)
Вторая половина XIX века Авраам Линкольн (1861-1865) - 16-ый президент США. Прото-соломенные опросы Александр II (1855 - 1881) - освободитель
Первая треть XX века Соломенные опросы. Период доминирования опросов журнала «Литерари Дайджест». Николай II (1894-1917). Революция 1917 года, гражданская война, коллективизация
1932, ноябрь Соломенные опросы как инструмент управления избирательной компанией
1935 Создание Института Гэллапа Период массовых репрессий
1936, ноябрь Рождение научной системы проведения опросов общественного мнения
Годы Второй мировой войны Общественное мнение и президент Франклин Рузвельт (1933-1945). Х. Кэнтрил - первый консультант президента по общественному мнению. Укрепление культа личности Сталина.
Середина XX века Региональные зондажи общественного мнения, совершенствование опросной технологии Начало «холодной войны». Жесточайшая критика всего западного и фактическое прекращение контактов с Западом
1960-е годы Джон Кеннеди (1961-1963). Война и общественное мнение. Институт общественного мнения «Комсомольской правды»; 1960, май
Вторая полов. 80-х - начало 90-х Возникновение онлайновых опросов. Возникновение первых общенациональных систем изучения общественного мнения: ВЦИОМ, РОМИР, ФОМ. Первые электоральные исследования и прогнозы
Конец XX века Рождение научной онлайновой системы изучения общественного мнения (1998)
Начало XXI века Первый онлайновый опрос обогащенного общественного мнения Широкая сеть общенациональных и региональных центров изучения общественного мнения.
заменялось другими методами опроса1. С чем это связано — сложно сказать с точностью, но среди причин называют рост мобильности населения, рост уровня коммуникаций и рекламы, что приводит к защите от избытка навязчивой информации и повышению ценности приватности, рост преступности, понижающий желание открывать двери интервьюеру.
Если говорить об Украине, то первые (локальные) опросы были проведены в конце 1960-х-начале 1970-х годов, а первые опросы, репрезентативные для Украины, начались только в 1991-м. Можно сказать, что возникновение опросов общественного мнения в Украине, как и в США, связано с демократизацией и потребностью прогнозирования выборов. Кроме того, с развитием рыночной экономики, что приходится на тот же период, возникают опросы, связанные с проведением маркетинговых исследований. В Украине (и вообще в Советском
1 Как ни странно, face-to-face интервью не имеет адекватного русского или украинского перевода, калька «лицом к лицу интервью» длинна и неуклюжа, а персональное или очное может относиться и к телефонному интервью. Поэтому мы будем использовать сокращение F2F. То же самое с response ^е: мы будем пользоваться сокращением RR.
Союзе) практически отсутствовал опыт проведения F2F интервью, отсутствовали опросные сети, состоящие из обученных интервьюеров, отсутствовали стандартные методы построения выборок. Однако первые международные исследования, проведенные в Украине, а также заказы иностранных клиентов, передававших технологии и обучавших интервьюеров, позволили быстро ликвидировать отставание. В 19911992 гг. появились первые полстерские компании (КМИС и СОЦИС), которые проводили регулярные опросы общественного мнения, репрезентативные для Украины.
Кризис F2F интервью. К сожалению, в XXI веке процессы, начавшиеся ранее в других странах, докатились и до Украины: response rate (RR) в интервью стал падать (см. график 1).
Причины, вероятно, те же самые, что и в других странах. К тому же (в отличие от других стран), если в 90-х годах социологические исследования проводились еще достаточно редко, то сейчас социологи «надоели» респондентам. По данным нашего опроса, на протяжении 2011 года 13% респондентов уже принимало участие
График 1
ДИНАМИКА ПРОЦЕНТА УСПЕШНЫХ ИНТЕРВЬЮ (RESPONSE RATE) В ИССЛЕДОВАНИЯХ КМИС
100 90 80 70 60 50 40 30 20 10 0
89
90
88
67
66
67
68
64 65
54
54
53
^ .«S» ^ ^ ^
^ çS?5 <#> et?
<i? ч? ч? ч?
в том или ином виде опроса1, 87% — не принимало. Если считать, что вероятность не принимать участие в опросе в течение года 0.87, то это означает, что в течение 5 лет только половина взрослого населения Украины не участвовала в опросах, другая же половина была опрошена хотя бы один раз. Response rate для регулярных опросов КМИС на протяжении последних четырех лет составляет около 53%, что почти на 10% меньше, чем за предыдущий период. Особенно сложная ситуация в столице (RR в Киеве составляет 36%) и в других крупных городах. Поскольку КМИС проводит достаточно много опросов (60-70 в год, т.е. 200-300 за эти четыре года) и уделяет большое внимание методологии исследований, мы полагаем что имеющиеся данные статистически устойчивы и что ситуация в других центрах не лучше, чем у нас.
Ситуация маскируется тем, что многие компании (особенно в области маркетинговых исследований) проводят большое количество опросов по квотной выборке и публикуют скорее не response rate, а cooperation rate (т.е. не процент опрошенных по отношению ко всем попавшим в выборку, а процент опрошенных по отношению к тем, кого нашел и пытался опросить интервьюер). Иногда даже при использовании стохастической выборки расчеты
1 Опрос проведен Киевским международным институтом социологии 4-15 ноября 2011 года. Методом интервью опрошено 2037 респондентов, проживающих во всех областях Украины, Крыму и в Киеве по стохастической выборке, репрезентативной для населения Украины старше 18 лет. Статистическая погрешность выборки (с вероятностью 0.95 и при дизайн-эффекте 1.5) для показателей близких к 10% не превышает 2,0%. Заданный вопрос: Приходилось ли Вам за последние 12 месяцев принимать участие в каких-либо опросах? ЕСЛИ ДА. Как Вам задавали вопросы? Варианты ответа (можно было выбрать несколько): (1) приходил интервьюер, (2) опрашивали по телефону, (3) на улице, (4) с помощью обычной почты или (5) использовался Интернет или (6) не принимал участие в опросах.
проводятся не по рекомендованным экспертами формулам2, а по формулам, некорректно увеличивающим RR, в частности, при расчете RR в знаменатель не включаются недоступные для интервьюера домохозяйства, которые находятся в закрытых подъездах.
Таким образом, мировой кризис с качеством данных F2F интервью с лагом в 5-7 лет докатился и до Украины.
Подходы к решению проблем с F2F интервью в мире. Ответом социологов на проблемы с F2F интервью во всем мире был переход сначала на телефонные опросы с помощью компьютеров (CATI — computer assisted telephone interview), а потом на интернет-опросы.
Таблица 1
ДОЛЯ МЕТОДОВ ОПРОСА, ИСПОЛЬЗОВАННЫХ В 2005 И 2009 ГОДАХ В МИРЕ3 (по сумме заказов на использование тех или иных методов), %
Метод 2005 2009
Face-to-face интервью 12 11
Телефонный опрос 19 14
Интернет-опрос 16 19
Почтовый опрос 4 3
Другие количественные методы *) 32 33
Качественные методы 14 13
Другое 3 7
100 100
*) Пиплметры, дневники и т.п.
2 Standard Definitions. Final Dispositions of Case Codes and Outcome Rates for Surveys. Revised 2011. The American Association for Public Opinion Research. http://www.aapor.org/AM/Template.cfm?Section=Standard_ Definitions2&Template=/CM/ContentDisplay.cfm&ContentID=3156
3 ESOMAR Industry Reports: Global market research 2007 и Global market research 2010. Отчеты об опросах заказчиков и исполнителей опросов общественного мнения и маркетинговых исследований, проведенных наиболее крупным объединением поллстеров и маркетологов - Европейским сообществом исследователей общественного мнения и маркетинговых исследований (European Society Opinion and Market Research)
51
Как видно из таблицы 1, количественные методы составляют большинство исследований (83% в 2005 и 80% в 2009). При этом в 2005 году доминировал телефонный опрос (19%), в то время как Интернет-опрос составлял 16%, а F2F интервью 12%, а в 2009-м на первое место вышел уже Интернет-опрос (19%), телефонный опрос упал до 14%, а face-to-face интервью до 11%.
Разумеется, в разных странах этот процесс проходил по-разному (см. таблицу 2).
Если использовать термин «революция» не в строгом научном смысле, а как метафору, и понимать под революцией в методах сбора информации переход от доминирования одного метода к доминированию другого метода, то можно говорить о 3-х таких революциях:
1) переход от соломенных опросов к Гэлла-повским технологиям, т.е. к F2F стандартизованным интервью по стохастической репрезентативной выборке;
Таблица 2
СТРУКТУРА ИСПОЛЬЗОВАНИЯ МЕТОДОВ СБОРА ДАННЫХ В РАЗНЫХ СТРАНАХ В 2009 г., (в %)
Face-to-face телефонные Онлайн количеств. Автоматизированные цифровые и электронные Почтовые Другие количеств.* ВСЕГО количеств.
США 1 14 27 47 2 9 100
Швеция 6 37 31 9 17 0 100
Австрия 10 34 48 3 3 2 100
Болгария 24 19 57 0 0 0 100
Франция 27 24 25 0 4 20 100
Великобритания 31 22 33 0 12 2 100
Россия 40 27 8 20 1 4 100
Украина 50 17 1 0 0 3 г\э 100
Польша 55 15 4 12 3 11 100
Румыния 71 18 3 8 0 0 100
ВСЕГО (46 стран) 18 2 СО 30 1 5 22 100
* Другие количественные методы, включающие устройства, которые фиксируют, на каком канале работает телевизор — пиплметры (people meters), дневниковые панели и т.п. Источник данных — ESOMAR Industry Report, 2010
Как видим, в США почти перестали использовать F2F интервью, в то время как, скажем, в Польше или Румынии этот метод продолжает доминировать. Приведенные в этой таблице данные по России и, особенно, по Украине ненадежны, так как в России лишь 36 компаний являются членами ESOMAR, а в Украине 12 (в других странах их значительно больше и ответы их представителей точнее отражают соотношение используемых методов опроса, например, в Великобритании их 124, в Германии 142). Поэтому для Украины мы используем данные специально проведенного исследования, включающего опрос нескольких сотен представителей организаций, заказывающих и проводящих исследования (см. табл. 3); в этой таблице мы приводим соотношение только 3-х основных методов опроса (соответственно все проценты пересчитаны по отношению к сумме заказов на эти три метода).
2) переход от F2F к телефонным опросам (САТ1);
3) переход от САТ1 к онлайн исследованиям.
Если в мире за последние несколько лет
произошла уже 3-я революция, то в Украине пока только первая. Как видим, доля F2F интервью снижается, в то время как доля САТ1 и Интернет-опросов растет. В то же время, темпы роста онлайн опросов выше, чем темпы роста САТ1.
Казалось бы, тенденции в развитии методов опросов такие же, как во всем мире. В далекой перспективе оно, видимо, так и есть. Однако в ближайшее время такое развитие событий навряд ли возможно: инфраструктура Украины (и большинства постсоветских стран), в частности, плотность телефонных и Интернет-коммуникаций не позволяет следовать западным тенденциям. Неясно, в частности, будет ли у нас доминировать САТ1, как это было в запад-
ных странах еще несколько лет назад, или мы сразу перейдем к доминированию Интернет-опросов либо комбинированию разных методов. Рассмотрим этот вопрос более подробно.
Таблица 3
СООТНОШЕНИЕ ЗАТРАТ НА 3-Х МЕТОДАХ ОПРОСА1
График 2
ВОЗРАСТ И УРОВЕНЬ ТЕЛЕФОНИЗАЦИИ
Метод опроса
Мир Украина 2009 2008 2010
Face-to-face интервью 25 56 44
CATI 32 30 33
Интернет-опросы 43 14 23
ВСЕГО 100 100 100
Тенденции и ограничения в развитии телефонных и Интернет-опросов в Украине. В таблице 4 представлены данные опросов КМИС, представляющих процент лиц, имеющих стационарные и мобильные телефоны.
Таблица 4
ПРОЦЕНТ ЛИЦ, ИМЕЮЩИХ ТЕЛЕФОНЫ, СРЕДИ ВЗРОСЛОГО НАСЕЛЕНИЯ УКРАИНЫ, 2011
Тип телефонов Всё население, % Город Село
Только мобильный 37 3 г\э 49
И мобильный 41 49 25
и стационарный
Только стационарный 12 14 8
Не имеют телефонов 10 5 18
Всего 100 100 100
Имеют стационарный 53 63 33
Имеют мобильный 78 81 74
Как видим, только каждый второй (а в селе — каждый третий) имеют стационарный телефон. Поэтому телефонные опросы на базе стационарных телефонов не могут быть заменой F2F интервью, как это было в западных странах, где телефоны были практически в 100% домохо-зяйств (в последние годы, однако, часть домохо-зяйств отказалась от стационарных телефонов).
Лучше обстоит дело с мобильными телефонами, которые есть почти у 80% населения, причем село не очень сильно отличается от города. Однако мобильные телефоны очень неравномерно распределены по возрастным группам (95% в группе 18-29 лет и только 30% среди лиц старше 70), см. график 2.
1 Мир - данные упомянутого отчета ESOMAR 2010, Украина - данные специального опроса 500 представителей (2008) и 255 представителей (2010) международных и украинских компаний, которые заказывают исследования. Опросы проведены Украинской ассоциацией маркетинга и компанией 1пМЫ, метод F2F, В2В и CAWI В2В
100 90 80 70 60 50 40 30 20 10 0
♦ —
♦ -
■
18-29 30-39 ■ ♦ Мобильный '
40-49 50-59 60-69 70+ НДомашний -"^f-Нет телефона
Кроме того, построение выборки для мобильных телефонов является сложным и недостаточно разработанным процессом. Во всяком случае, опрос с помощью мобильных телефонов тоже не может быть заменой F2F интервью.
Возможно, наилучший вариант — комбинация опросов с помощью мобильных и стационарных телефонов (dual frame phone survey). Однако тут тоже есть проблемы. Во-первых, 10% (а в селе — 18%) не имеют телефона вообще. Во-вторых, выборка для комбинации стационарных и мобильных телефонов еще сложнее, чем для мобильных. Наконец, телефонные опросы вообще не могут быть полноценной заменой очных интервью, так как они имеют очень существенные ограничения на сложность опросника (а некоторые виды опроса — например, оценка рекламных изображений или рекламных роликов — вообще невозможна).
Что касается Интернет-опросов, то они, в отличие от телефонных опросов, в принципе могут быть полноценной заменой обычных интервью и уже, как мы видим, стали доминировать в мире в целом и становятся такой заменой во многих странах (табл. 5).
В перспективе то же самое, видимо, произойдет и в Украине, но насколько быстро? Рост числа пользователей мобильных телефонов происходил довольно быстро и описывался S-кривою (сначала медленный рост, потом очень быстрый, экспоненциальный, затем, по мере насыщения, опять медленный). Если то же самое произошло бы с Интернетом, то кризис был бы быстро преодолен. И тут с сожалением приходится констатировать, что рост количества пользователей Интернета происходит медленнее, чем мы надеялись. Прогнозы, сделанные в разные годы, начиная с 2003-го Е. Большовым, Н. Харченко, В. Забузовой,
Таблица 5
ПРОЦЕНТ ПОЛЬЗОВАТЕЛЕЙ ИНТЕРНЕТА СРЕДИ НАСЕЛЕНИЯ ЕВРОПЫ (2011) И % ИНТЕРНЕТ-ОПРОСОВ СРЕДИ ДРУГИХ МЕТОДОВ ОПРОСА (2009)1.
% пользователей % интернет-опросов
Норвегия 94.4 25.7
Швеция 92.4 34.2
Нидерланди 88.3 45.5
Финляндия 85.2 42.3
Великобритания 82.0 34.2
Швейцария 80.5 15.5
Германия 79.9 31.5
Словакия 74.2 3.3
Франция 69.5 31.7
Чехия 65.6 6.0
Словения 64.9 19.6
Испания 62.2 13.0
Венгрия 61.9 11.7
Польша 58.4 3.4
Италия 49.2 14.9
Португалия 48.0 8.9
Греция 46.2 55.8
Турция 44.4 1.8
Россия 43.0 3.0
Румыния 35.5 8.9
Украина 33.9 2.6
Молдова 30.9 Нет данных
В. Паниотто, были построены на методологии S-кривой2 и оказались слишком оптимистичными3. Гипотезы про экспоненциальный рост количества пользователей Интернета пока не подтвердились. Развитию мобильной связи способствовало удешевление связи, мобильных телефонов, конкуренция операторов. Важ-
1 Источник данных об Интернет-проникновении Internet World Stats -http://www.internetworldstats.com/stats4.htm. Данные об Интернет-опросах - наш пересчет данных отчета Global market research 2010, содержащего данные за 2009 год (как мы уже отмечали, данные об Украине нерепрезентативные). Следует учитывать, что Международный телекоммуникационный союз для анализа и сравнения использования Интернета в глобальном масштабе использует определения проникновения Интернета, предложенное Internet World Stats (IWS). По этому определению уровень проникновения Интернета - это доля общего населения страны, использующего Интернет, а пользователем Интернета считается каждый, кто в определенный момент имеет возможность использовать Интернет.
2 Modis T. Predictions. - NY., 1992.
3 Е. Большов, Н. Харченко. Пользователи Интернета в Украине: характеристики, методология исследования, прогноз. 2003. http://www. analitik.org.ua/publications/3f65de934c3db/3f65e07165e40/; В. Паниотто, Е. Большов. Настоящее и будущее интернет-аудитории Украины. - Новый маркетинг, 2006, № 2. С.112-117.
но также, что у населения есть большой опыт использования стационарных телефонов. По всей видимости, ситуация с Интернетом совсем иная. Во-первых, связь с Интернетом осуществляется преимущественно с помощью компьютеров, которые стоят существенно дороже (небольшое количество тех, кто использует смартфоны и другие устройства, имеют также и компьютеры). Во-вторых, освоение компьютеров, которое является предпосылкой и ограничением для использования Интернета, является намного более сложным, чем освоение мобильных телефонов. Количество пользователей компьютерами (график 3) растет существенно медленнее, чем количество пользователей мобильными телефонами.
График 3
ПРОЦЕНТ ЛИЦ, ИМЕЮЩИХ МОБИЛЬНЫЕ ТЕЛЕФОНЫ (ВЕРХНЯЯ ЛИНИЯ) И КОМПЬЮТЕРЫ (НИЖНЯЯ ЛИНИЯ) СРЕДИ ВЗРОСЛОГО НАСЕЛЕНИЯ УКРАИНЫ.
100 90 80 70 60 50 40
-♦- Интернет -я- Мобильные телефоны 82
76
70 JM—'
44 49
36 40
23 24 27 29
21 15 19 19
10 15
2003 2004 2005 2006 2007 2008 2009 2010 2011
В итоге количество пользователей Интернета растет приблизительно так же, как количество пользователей компьютерами (график 4).
Более адекватным, вероятно, является другой подход к прогнозированию числа пользователей Интернета — имитационное моделирование (в частности, агентное моделирование).
График 4
ПРОЦЕНТ ВСЕХ ПОЛЬЗОВАТЕЛЕЙ ИНТЕРНЕТА (ВЕРХНЯЯ ЛИНИЯ) И ПРОЦЕНТ ИСПОЛЬЗУЮЩИХ ИНТЕРНЕТ ДОМА (НИЖНЯЯ ЛИНИЯ) СРЕДИ ВЗРОСЛОГО НАСЕЛЕНИЯ УКРАИНЫ
2003 2004 2005 2006 2007 2008 2009 2010 2011
Такая модель разработана А. Грушецким1 и учитывает два процесса: во-первых, старение населения, смертность среди половозрастных когорт населения и постепенное замещение старших возрастных когорт с низким уровнем пользования Интернетом на более молодые, «Интернет-продвинутые» когорты; во-вторых, учитывается ежегодный прирост числа пользователей Интернета в каждой половозрастной когорте (как показывают наши данные, младшие когорты имеют не только более высокую численность Интернет-пользователей, но и более высокие темпы ее прироста).
Результаты моделирования этим методом на базе опросов КМИС даны на графике 5. В соответствии с этой моделью, темпы роста числа пользователей будут ниже, чем при использовании S-кривой, но выше, чем при использовании линейных моделей.
График 5
ПРОГНОЗ ПРОЦЕНТА ОБЩЕЙ ЧИСЛЕННОСТИ 1№ВД№Т-ПОЛЬЗОВАТЕЛЕЙ
80 1-
70 --
"65"
60 50
40 30
20 10
2007
2010
2015
2020
Результаты прогнозирования числа Интернет-пользователей показывают, что в течение ближайших 8-10 лет говорить о полной замене F2F интервью Интернет-опросами не приходится.
Комбинирование методов опроса (mix-mode surveys) как наиболее перспективный подход к сбору данных в Украине. Если в отличие от других стран ни телефонные опросы, ни Интернет-опросы не могут быстро вытеснить F2F интервью, а качество последних падает, то можно предположить, что наиболее подходящим для Украины является использование комбинаций F2F интервью с телефонными и Интернет-опросами. При этом мы предполагаем, что в настоящее время наиболее перспективным является комбинация F2F с CATI, а в ближай-
1 Модель была представлена на 8-й Международной конференции <ЖеМагк - Маркетинговые исследования в Украине» (Киев, 28 сентября 2011) в докладе В.Паниотто и А.Грушецкого «Экспоненциальный рост численности Интернет-пользователей: мечта или действительность?».
шем будущем — комбинация F2F с Интернет-опросами или САТ1 с Интернет-опросами.
Рассмотрим, например, комбинирование (сочетание) F2F интервью с телефонным опросом (САТ1) с точки зрения тотального подхода к ошибкам опроса2, см. таблицу 6.
Таблица 6
СРАВНЕНИЕ ОШИБОК F2F ИНТЕРВЬЮ И САТ1 С ТОЧКИ ЗРЕНИЯ ТОТАЛЬНОГО ПОДХОДА К ОШИБКАМ ОПРОСА
Типы ошибок
Face-to-face интервью
CATI
Ошибка выборки (sampling error) Ошибка покрытия (coverage error)
Ошибка за счет неответа на анкету в целом, низкий RR (nonresponse error at the unite level)
Ошибка неответа на уровне вопроса (nonresponse error at the item level)
Ошибка за счет респондента (measurement error due to respondent)
Ошибка за счет интервьюера (measurement error due to interviewer)
Ошибки кодировки, ввода и т.д. (postsurvey error)_
низкая
низкая
низкая высокая
высокая средняя
низкая средняя
низкая средняя
средняя средняя
низкая низкая
Это сочетание может осуществляться, по крайней мере, двумя способами. Во-первых, разные методы для разных совокупностей респондентов: в частности, в сельской местности, где RR достаточно высокий, целесообразнее использовать F2F интервью, а в городе — САТ1. Другой вариант — использовать оба метода для двух репрезентативных подвыборок из одной и той же генеральной совокупности (см. ниже пример опроса в Киеве, когда половина выборки была опрошена в технике F2F интервью, а половина — САТ1). Оба метода хорошо дополняют друг друга, высокая ошибка покрытия САТ1 (из-за низкого уровня телефонизации) компенсируется низким уровнем ошибки покрытия F2F, и наоборот — высокий уровень ошибки неответов F2F компенсируется более низким уровнем ошибки САТ1 за счет ЯЯ. В телефонном опросе ниже ошибки, связанные с отбором респондентов, а в F2F интервью ниже ошибки, связанные с измерением, с ответами.
2 Weisberg H.F. The total survey error approach: a guide to the new science of survey research. Chicago: The University of Chicago Press, 2005.
0
К сожалению, имеющийся у нас опыт несколько противоречит этим теоретическим рассуждениям. В мае 2008 г. за месяц и за две недели до выборов мэра Киева, состоявшихся 25 мая, КМИС провел опрос избирателей Киева по двум репрезентативным выборкам — 500 респондентов методом Р2Б, 500 респондентов методом САТ11.
Таблица 7
СРАВНЕНИЕ ДАННЫХ ОПРОСОВ С РЕЗУЛЬТАТАМИ ВЫБОРОВ МЭРА КИЕВА 25 МАЯ 2008 г.
Среднеквадратическое отклонение от результатов выборов, (25 мая 2008) 16-23 апреля, % 2-11 мая, %
CATI 3.6 1.8
Face-to-face 4.8 3.3
Комбинация CATI и F2F 4.2 2.3
Данные опроса показывают, что в отличие от наших предположений результаты опросов методом САТ1 (проведенные как за месяц, так и за две недели до выборов) ближе к результатам выборов, чем комбинация САТ1 и F2F. Среднеква-дратическое отклонение опроса от результатов выборов для всех девяти кандидатов для САТ1 составляет 3.6% и 1.8%, а для комбинированного исследования — 4.2% и 2.3% соответственно.
Мы полагаем, что это не свидетельствует о бесперспективности комбинирования различных методов, а говорит скорее о том, что комбинирование методов является нетривиальной задачей. В данном случае возможно влияние нескольких обстоятельств: во-первых, воздействие специфической ситуации в Киеве, где почти 100% населения имеют телефоны и потому ошибка покрытия САТ1 не больше, чем для Р2Б интервью; во-вторых, анкета достаточно проста, поэтому преимущества Р2Б интервью на этапе измерения несущественны, т.е. в данном случае Р2Б интервью не компенсирует недостатки телефонного опроса, а уступает телефонному опросу по всем параметрам; наконец, мы механически объединили данные Р2Б интервью и САТ1 в один файл. Возможно, для комбинированных опросов нужен более продуманный способ объединения данных — математическая модель, которая интегрирует данные двух опросов, принимая во внимание ошибки каждого типа и объединяя данные таким образом, чтобы минимизировать общую ошибку.
1 Для F2F интервью выборка стратифицирована по численности населения в каждом из 10 районов Киева, а затем случайный выбор почтовых округов, адресов домохозяйств и респондентов в каждом доме. RR=36%. Для САТ1 мы использовали метод RDD. RR = 56%
Обсуждение перспектив развития методов сбора информации. Альтернативные идеи. На уже
упомянутой конференции «Кризис в методах опроса и пути его преодоления» были высказаны и другие идеи, связанные с развитием методов сбора информации.
1. Прежде всего, обсуждение показало, что не все согласны с тезисом о существовании кризиса. Высказывалось мнение, что кризиса нет, а есть естественное развитие и повышение требований к надежности и валидности результатов. По всей видимости, это связано с тем, что академические или academic directed исследования с очень большими сложными анкетами вообще не имеют особых альтернатив F2F интервью и не испытывают потребности переходить на другие методы. Целесообразно рассматривать ситуацию с методами опроса отдельно по крайней мере для 3-х ситуаций: правительственные или академические исследования с очень сложными анкетами, опросы общественного мнения (в частности, электоральные и социальные опросы) и маркетинговые исследования, которые часто озабочены репрезентативностью не для всего населения, а для определенных целевых групп. Маловероятно, что F2F интервью будет заменено безличным опросом полностью, многие виды опроса не могут быть заменены заочным общением. К тому же проблемы с F2F интервью касаются преимущественно интервью, за которые респондент не получает оплаты, платные интервью имеют достаточно высокий response rate. Интернет может не только вытеснять F2F интервью, но и наоборот — способствовать его дальнейшему развитию. В частности, уже сейчас интервью может проводиться через Интернет (например, с помощью Скайпа).
2. Response rate в F2F интервью падает, но это еще не катастрофа. Не надо фетишизировать этот показатель, качество данных зависит и от других факторов, в частности, от разницы характеристик ответивших и не ответивших: если эта разница невелика, то качество данных будет высоким даже при низком response rate. Необходимо иметь более полную систему показателей, оценивающих качество данных, а также пытаться получить оценки характеристик тех, кто не ответил, — эта информация позволит взвесить полученные данные и компенсировать падение response rate. В наибольшей степени эта стратегия разработана для панельного исследования домохозяйств. Развитие указанного выше подхода как более универсального состоит в идее «реагирующего дизайна». Такой дизайн состоит из двух и больше фаз, причем, в первой фазе (которая очень напоминает методический эксперимент) собирается дополни-
тельная информация — так называемые пара-данные, которые используются в последующих фазах. Например, в первой фазе используют разные методы сбора информации на разных подвыборках или разные версии опросников (короткая и длинная), или разное число звонков. Кроме того, собирается информация об опыте интервьюеров, об участках, на которых будет проводиться исследование (нежилые здания, характеристики инфраструктуры, препятствия, угрозы для интервьюеров и т.п.), а также характеристики ситуации и процесса интервью (время суток, дни недели, время, затраченное на поездку, и т.п.). Все эти данные используются для оценки вероятности провести интервью на следующей фазе исследования. Вся эта информация используется для изменения дизайна исследования, приспособления его к условиям опроса и для позднейшей коррекции, последующего взвешивания данных опроса.
3. Недостаточное развитие Интернета еще не значит, что нам нечем заменить F2F интервью. Да, мы отстаем от западных стран по информационным технологиям, в Украине только 40% взрослых доступны по Интернету, но это уже немало. Есть такие категории населения, которые почти поголовно охвачены Интернетом, к ним уже можно не посылать интервьюеров и не звонить. В частности, это городская молодежь, а также многие профессиональные группы. В маркетинге, когда нужно найти очень редкие группы населения и уже не до репрезентативности (например, тех кто пил «Столичную», но переключился на «Горилку з перцем»), Интернет-опросы незаменимы. Именно поэтому КМИС активно развивает собственную онлайн панель InPoll (www.inpoll.net), рекрутируя участников во время проведения плановых face-to-face исследований. Как показывает наш опыт, онлайн опросы востребованы при длительном изучении поведения потребителей (дневниковые исследования), при тестировании рекламных концепций, изучении спроса на онлайн услуги, а также в исследованиях медиа потребления, которое постепенно мигрирует в Интернет.
4. Комбинирование стационарных и мобильных телефонных опросов (dual-frame mode) весьма перспективно, но имеет много проблем (в каких пропорциях и каким образом соединять обе базы, как привязать мобильные телефоны к территориям, как уменьшить число звонков на несуществующие номера и т.д.).
5. Выделены разные типы комбинирования, в частности: 1) комбинирование способов коммуникации с респондентами; 2) использование разных методов для разных подвыборок. Сложной проблемой является измерение воздействия
метода на результаты опроса, поэтому первый метод является менее рискованным. Важным аспектом является вовлеченность заказчика в выбор дизайна исследования и оценку рисков.
6. Если говорить о более далеких перспективах, то возникает вопрос, будут ли опросы вообще нужны? Все больше информации о реальном поведении и мотивации людей можно получить используя технические возможности и информационные технологии. Например, пока не было пиплметров, нужны были опросы, а сейчас дневники телесмотрения ушли в прошлое. То же самое происходит с ценовыми исследованиями: сканирование штрихкодов вытесняет описание SKU (Stock Keeping Unit — сочетание марки, сорта и упаковки). В странах, где люди шире используют кредитные карточки и где проверяется кредитоспособность, о многих людях известно, где они работают, что они покупают, что едят, куда ездят, сколько денег тратят, какие газеты выписывают и т.п. Не говорим уже о сканировании импульсов мозга при просмотре рекламы, фиксации движений зрачков при выборе товара в супермаркете и хранении истории посещения сайтов. А on-line социальные сети? За 2011 г. каждый третий взрослый украинец хотя бы раз посещал сайты социальных сетей и живых журналов. В Украине созданы десятки миллионов персональных страниц, на которые выкладывается и может быть запрошен разнообразный контент (социально-демографические характеристики, фото, видео, музыка и др.). Хотим мы того или нет, пишет редактор издания ESOMAR Симон Чадвик1, но мир, в котором мы живем, становится безвозвратно цифровым и мобильным, потому исследовательские подходы просто не могут оставаться неизменными.
Что мы будем делать в 2020 году? Опрашивать нескольких добровольцев, у которых найдется время и желание открыть дверь своего бункера и поучаствовать в опросе? Впервые проведем первый Интернет опрос, репрезентативный для всей страны? Перейдем на пассивное веб-наблюдение в социальных сетях, биометрику и моментальные мобильные опросы? Или же участие в опросах станет гражданским долгом2 и все, кто попал в случайную выборку, будут освобождены на полдня от работы и обязаны отвечать на вопросы социологов (как сейчас в США случайно отобранные граждане обязаны участвовать в суде присяжных)? Мы отметили некоторые тенденции в развитии методов опроса, но с уверенностью сказать, какие из этих тенденций станут доминировать, пока сложно.
1 Simon Chadwick. Irreversibly digital // Research World, October 2011, p. 6.
2 Например, в Германии уже сейчас респонденты не имеют права отказываться участвовать в государственных социологических исследованиях.
