CC BY
19
НАУЧНАЯ ЖИЗНЬ
Владимир ПАНИОТТО
«Кризис в методах опроса и пути его преодоления»: соображения по теме международной
конференции (Киев, 28-29 октября 2011)
Идея проведения конференции была порождена проблемами с традиционным face-to-face (F2F) опросом. Мой тезис состоял в том, что методы опроса во всем мире переживают кризис, response rate падает, face-to-face интервью заменяется телефонными и интернет-опросами, но для Украины и России эта замена не дает возможности проводить опросы, репрезентативные для всего населения.
Обсуждение, однако, показало, что не все согласны с этим тезисом и вообще с существованием кризиса. Высказывалось мнение, что кризиса нет, а есть естественное развитие и повышение требований к надежности и валидно-сти результатов. По всей видимости, мы имеем разный опыт и разные потребности в зависимости от типа исследований. Например, академические или academic directed исследования с очень большими сложными анкетами вообще не имеют особых альтернатив face-to-face интервью и не испытывают потребности переходить на другие методы. Итак, первый вывод или первая идея:
Целесообразно рассматривать ситуацию с методами опроса отдельно по крайней мере для 3-х ситуаций: правительственные или академические исследования с очень сложными анкетами, опросы общественного мнения (в частности, электоральные и социальные опросы) и маркетинговые исследования, которые часто озабочены репрезентативностью не для всего населения, а для определенных целевых групп.
Интервью face-to-face по месту жительства во многих случаях могут быть заменены аккуратно проведенными уличными опросами (с
взвешиванием по частоте выхода на улицу). Часто искренность респондентов в таких опросах выше, чем в квартирных. Если на европейских и американских конференциях чаще всего обсуждались mix-mode surveys, основанные на комбинации интернет-опросов и CATI1, то на нашей конференции представители четырех организаций упоминали в качестве удачного примера свой опыт комбинации квартирного и уличного опроса.
Маловероятно, что face-to-face интервью будет заменено безличным опросом, многие виды опроса не могут быть заменены заочным общением. Интернет может не только вытеснять face-to-face интервью, но и наоборот — способствовать его дальнейшему развитию. В частности, уже сейчас face-to-face интервью может проводиться с помощью Скайпа (Skype).
Большинство face-to-face интервью проводится маршрутным методом. Однако переход на адресный метод может существенно улучшить ситуацию и повысить response rate. Правда, для этого может понадобиться провести первоначальную перепись первичных единиц отбора (например, избирательных участков), попавших в выборку. Кроме того, адресную выборку не любят интервьюеры. Так что этот метод дороже, но он лучше.
Вообще, высказывалось мнение, что кризис не в том, что падает response rate, а в том, что у нас мало денег и мы не хотим платить респондентам. Двадцать лет назад гостеприимные ре-
1 CATI (Computer Assisted Telephone Interview) - система автоматизированного компьютеризированного телефонного интервью для проведения маркетинговых исследований или социологических опросов.
спонденты приглашали интервьюеров пить чай с печеньем, а мы к этому привыкли и норовим провести интервью бесплатно, никак не оплачивая респондентам затраченное время. Просто этот вид опроса стал дороже, надо это осознать самим и донести до сознания заказчиков. Надо больше платить — и будет все в порядке (хотя, конечно, возникает еще проблема излишней кооперативности респондентов, но с ней проще бороться, чем с падением response rate).
Response rate в face-to-face интервью падает, но это еще не катастрофа. Не надо фетишизировать этот показатель, качество данных зависит и от других факторов, в частности, от разницы характеристик ответивших и не ответивших, если эта разница невелика, то качество данных будет высоким даже при низком response rate. Необходимо иметь более полную систему показателей, оценивающих качество данных, а также пытаться получить оценки характеристик тех, кто не ответил, — эта информация позволит взвесить полученные данные и компенсировать падение response rate. В наибольшей степени эта стратегия разработана для панельного исследования домохозяйств.
Развитие указанного выше подхода как более универсального состоит в идее «реагирующего дизайна» — такой дизайн состоит из двух и больше фаз, причем в первой фазе (которая очень напоминает методический эксперимент) собирается дополнительная информация, — так называемые, параданные — которая используется в последующих фазах. Например, в первой фазе используют разные методы сбора информации на разных подвыборках или разные версии опросников (короткая и длинная) или разное число звонков. Кроме того, собирается информация об опыте интервьюеров, об участках, на которых будет проводиться исследование (нежилые здания, характеристики инфраструктуры, препятствия, угрозы для интервьюеров и т.п.), а также характеристики ситуации и процесса интервью (время суток, дни недели, время, затраченное на поездку и т.п.). Все эти данные используются для оценки вероятности провести интервью на следующей фазе исследования. Вся эта информация используется для изменения дизайна исследования, приспособления его к условиям опроса и для последующей коррекции, последующего взвешивания данных опроса.
Недостаточное развитие Интернета еще не значит, что нам нечем заменить F2F интервью. Да, мы отстаем от западных стран по информационным технологиям, в Украине только треть
взрослых, а в России 44% взрослых доступны по Интернету, но это уже немало. Есть такие категории населения, которые почти поголовно охвачены Интернетом, к ним уже можно не посылать интервьюеров и не звонить. В частности, это студенты, а также многие профессиональные группы. И в маркетинге, когда нужно найти очень редкие группы населения и уже не до репрезентативности (например, тех, кто пил «Столичную», но переключился на «Горилку з перцем»), то Интернет-опросы незаменимы.
Комбинирование стационарных и мобильных телефонных опросов (dual-frame mode) весьма перспективно, но имеет много проблем (в каких пропорциях и каким образом соединять обе базы, как привязать стационарные телефоны к территориям, как уменьшить число «пустых» номеров). Пока что мало опыта проведения таких опросов и подход, изложенный в докладе Тимура Османова (Фонд «Общественное мнение»), не с чем было сопоставить. К тому же оказалось, что Россия и Украина несколько отличаются по способу привязки номеров мобильных телефонов к территориям (точнее, в Украине они никак не привязаны). В целом ясно, что пока что нет отработанной технологии проведения таких опросов.
Опыт mixed-mode исследований тоже был весьма ограничен. Опыт Киевского международного института социологии (КМИС) в политических исследованиях оказался отрицательным (mixed-mode CATI с face-to-face интервью позволил сократить сроки исследования, но не повысил качество данных), к тому же он был локальным (опрос в Киеве). Опыт ГфК-Русь, представленный в докладе Татьяны Белоко-пытовой, относился к маркетинговым исследованиям и был, к сожалению, единственным, в котором систематически анализировались проблемы mixed-mode или multy-mode surveys, комбинирующих F2F PAPI1 с CATI или с Online опросами. Выделены разные типы комбинирования, в частности, 1) комбинирование способов коммуникации с респондентами и 2) использование разных методов для разных подвыборок. Сложной проблемой является измерение эффекта метода на результаты опроса, поэтому первый метод является менее рискованным. Важным аспектом является вовлеченность заказчика в выбор дизайна исследования и оценку рисков.
А нужны ли вообще опросы? Все больше и больше информации мы получаем без опросов,
1 PAPI (Performance Application Programming Interface) - переносной интерфейс.
114
№ 4 (110) октябрь-декабрь 2011
Вестник общественного мнения
в частности, путем фиксации информации о реальном поведении (покупках) респондента с помощью кредитных карточек. Например, пока не было пиплметров, подключаемых к телевизору, нужны были опросы, а сейчас дневники телесмотрения ушли в прошлое. То же самое происходит с ценовыми исследованиями, сканирование штрихкодов вытесняет описание SKU1. В странах, где люди шире используют кредитные карточки и где проверяется кредитоспособность — о многих людях известно, где они работают, что они покупают, что едят, куда ездят, сколько денег тратят, какие газеты выписывают и т.п. Нужно шире использовать технические возможности и информационные технологии (идея отказа от опросов годится,
1 SKU (Stock Keeping Unit) - складской номер, идентифицирующий тот или иной товар.
вероятно, прежде всего для маркетинговых исследований)
Response rate упал не только в face-to-face интервью, те же интернет-опросы только-только превращаются в главный метод сбора информации — и уже имеют те же проблемы. Государство должно поддерживать важные крупномасштабные исследования (в Германии уже сейчас респонденты не имеют права отказываться участвовать в государственных социологических исследованиях). Возможно, в будущем будут формироваться случайные выборки и все, кто в них попал, будут освобождены на полдня от работы и обязаны отвечать на вопросы социологов (как сейчас в США случайно отобранные граждане обязаны участвовать в суде присяжных).
АВТОРЫ НОМЕРА
ВЕРХОВСКИЙ Александр Маркович (Информационно-аналитический центр «Сова»]
ГУДКОВ Лев Дмитриевич (Левада-Центр]
ДУБИН Борис Владимирович (Левада-Центр]
ЗВЕРЕВА Вера Владимировна (Институт всеобщей истории РАН; РГГУ]
ЗОРКАЯ Наталия Андреевна (Левада-Центр]
МАГУН Владимир Самуилович (Институт социологии РАН; НИУ ВШЭ]
ПАНИОТТО Владимир Ильич (Киевский международный институт социологии]
РУДНЕВ Максим Геннадьевич (Институт социологии РАН; НИУ ВШЭ]
ХАХУЛИНА Людмила Александровна (Левада-Центр]
ЯСТРЕБОВ Гордей Александрович (НИУ ВШЭ]
