CC BY
180
ТЕОРИЯ И МЕТОДОЛОГИЯ
УДК 303.425.6(470+571):621.395:621.396
Т.Э. Османов, Д.М. Рогозин МЕТОДИЧЕСКОЕ ПРЕДСТАВЛЕНИЕ ОБЩЕРОССИЙСКОГО ОПРОСА ПО МОБИЛЬНЫМ ТЕЛЕФОНАМ, ИЛИ ПРОЦЕДУРЫ ОЦЕНКИ КАЧЕСТВА ВЫБОРОЧНОГО ИССЛЕДОВАНИЯ НА ПРИМЕРЕ ОПРОСА ТРУДОСПОСОБНОГО
НАСЕЛЕНИЯ РОССИИ
ОСМАНОВ Тимур Энварвикович - ведущий специалист Фонда «Общественное мнение». Email: osmanovtim@yandex.ru
РОГОЗИН Дмитрий Михайлович - директор Центра методологии федеративных исследований РАНХиГС. E-mail: nizgor@gmail.com
Аннотация: В статье представлено методическое описание телефонного опроса. Рассматриваются проблемы недостижимости, особенности географического распределения респондентов, характеристики случайной выборки по мобильным телефонам и подходы к контролю ее качества.
Ключевые слова: география опроса, общероссийская выборка, опрос по мобильным телефонам, коэффициенты достижимости, стандарты качества
В середине 2000-х годов исследования по мобильным телефонам были довольно редки. Такого рода выборочные дизайны разрабатывали лишь немногочисленные опросные компании. Однако нет сомнения, что в ближайшем будущем объем рынка исследований по мобильным телефонам будет существенно расширен, и вскоре он вытеснит привычные формы опросов (поквартирный, уличные опросы, опросы по стационарным телефонам). На рынке западных исследований доминирующая роль опросов по мобильным телефонам уже бесспорна, хотя еще в начале 2000-х мало кто мог прогнозировать столь широкое их распространение. Ведущие исследовательские компании повсеместно отказываются от иных опросных технологий в пользу более гибкой, гибридной и дешёвой мобильной связи [13, р. 304]. Во-первых, мобильная связь позволяет охватить практически все группы населения, независимо от пространственной (удаленность территории), социальной (места с социальной напряженностью, например, республики Северного Кавказа) или статусной (высокодоходные или высокостатусные группы) достижимости абонентов. Безусловно, некоторая коррекция проходит по расположенности к общению, и отдельные группы неминуемо выпадают из выборки из-за отказов участия в опросе. Вместе с тем есть возможность учитывать отказы, проводить редактирование данных, осуществлять дополнительные мероприятия по снижению уровня неответов.
Во-вторых, плотность покрытия территории России мобильной связью постоянно возрастает. В 2011 г. по данным Фонда «Общественное мнение» более 90% населения пользовались мобильной связью [1]; растёт доля тех, кто имеет более одной сим-карты. В результате удешевления мобильной связи постепенно снижается доля пользователей стационарными телефонами. Если экстраполировать наблюдения Рэндала Цуваллака, в
© Османов Т. Э.,. Рогозин Д.М, 2013
2012 г. в США доля населения, полностью отказавшегося от стационарной связи в пользу мобильной, может приблизиться к трети:
В 2003 г. уровень замены стационарной связи мобильной был низким: только 2,8% взрослого населения США, проживающего в домохозяйствах, имели лишь мобильные телефоны и 1,6% - вовсе не пользовались телефонной связью [6]. В первой половине 2007 г. в Национальном опросе по здоровью (National Health Interview Survey - NHIS) было зафиксировано более 12% граждан, пользующихся дома исключительно мобильной связью. Доля нетелефонизированных домохозяйств показатель остался на том же уровне - 1,6%. Никто не может предсказать рост доли населения, владеющего только мобильными телефонами. Если опираться на данные Национального опроса по здоровью, то текущий прирост составляет 15-20% каждые полгода [14, p. 389].
На рынке телекоммуникаций Россия, как правило, повторяет международные тренды с пяти-семилетним запозданием. Сейчас покрытие мобильной связью в России позволяет реализовывать случайные выборки, основанные лишь на префиксах операторов мобильной связи, и гарантировать репрезентацию не только пользователей мобильной связи, но и в целом населения страны по большому количеству исследуемых вопросов.
В-третьих, современные технологии проведения телефонных опросов позволяют радикально улучшить качество собираемых данных и усилить контроль над возможными систематическими смещениями, вызванными недобросовестной или непрофессиональной работой интервьюеров. Благодаря тотальной записи всех телефонных разговоров с последующей выборочной проверкой качества интервью можно контролировать реальную коммуникативную ситуацию, а не только получаемые частотные распределения. Последние, как известно социальным исследователям, представляют собой весьма ненадежный источник для выявления вероятных отклонений от общей процедуры опроса.
В-четвертых, запись всех интервью позволяет освободиться от устаревшего методологического деления исследовательских технологий на количественные и качественные и заявить о реализации смешанного подхода (mix research) в рамках единичного исследовательского дизайна. Анализ частотных распределений, выявление корреляционных зависимостей и построение дисперсионных моделей могут соседствовать с детальным дискурсивным анализом телефонных разговоров, выявлением стратегий ответа, особенностей аргументации и смысловых конструкций, применяемых в том или ином контексте.
В-пятых, с распространением ip-телефонии опрос по мобильным телефонам, даже при ужесточении способов контроля и усложнении анализа обработки данных, существенно дешевле традиционных личных интервью в расчете на единицу наблюдения или респондента. Это связано с более низкой стоимостью связи с абонентом, нежели, например, физический приезд к месту проживания, а также с дешевизной повторных обращений, независимо от установленного их количества (обычно ограничиваются пятью-семью дозвонами, поскольку в дальнейшем результативность опроса перестает заметно возрастать).
В-шестых, после законодательно установленного запрета взымать плату за входящие звонки1, продолжительные разговоры по мобильным телефонам уже не воспринимаются абонентами негативно и не интерпретируются как способ незаконного обогащения (в отличие, например, от обмена смс-сообщениями).
Кроме того, выход на массовый рынок мобильной связи смартфонов существенно расширил возможности опросов. Для пользователей современных приложений уже нет
1 Американские исследователи в качестве основной проблемы развития опросов по мобильным телефонам называют разную тарифную политику мобильных операторов по входящим звонкам [14, p. 397].
ограничений по форме коммуникации с интервьюером (визуальный контакт, обмен документами, заполнение электронных форм), что революционным образом изменяет представления об оффлайн и онлайн исследованиях [2, 3, 5, 13].
В преддверии экспансии опросов по мобильным телефонам чрезвычайно важно определиться со стандартами качества их проведения. В противном случае мы рискуем получить низкокачественные исполнения опросных дизайнов, дискредитирующие целое направление исследовательской активности.
Стандарты качества
На этапе становления опросной технологии от исследователя требуется не только проводить методические экспериментальные планы по тестированию технологических нововведений, но и осуществлять детальную регистрацию методических параметров текущих проектов. Американская ассоциация исследователей общественного мнения (AAPOR) задаёт минимальные стандарты качества опросного инструмента, основной акцент в которых делается на контроль выборки и регистрацию систематических смещений, связанных с недостижимостью определенных групп населения [11]2. В минимальных требованиях к раскрытию информации ААPOR требует в обязательном порядке предоставление информации
о следующих методических характеристиках выборочного исследования:
- Описание исследуемого населения, географического расположения и определение основы выборки, необходимой для идентификации этого населения. Если основа выборки предоставляется третьим лицом, поставщик должен быть назван. Если при формировании выборки не использовалась основа или список, это должно быть отражено в тексте.
- Описание дизайна выборки, точное и понятное представление метода отбора респондентов, включая любое квотирование или дополнительные элементы отбора в ходе опроса или после его завершения. В описании выборки должно быть однозначно представлено, где применялся случайный и неслучайный отбор респондентов.
- Размер выборки и обсуждение точности измерения, включая ошибку выборки для случайного отбора и описание переменных, используемых для процедур взвешивания или оценки. Следует отдельно отметить, какие обнаруженные ошибки выборки, с учетом дизайн-эффекта, были скорректированы за счет кластеризации или взвешивания [12].
Итак, согласно международным нормам проведения массовых опросов необходимо уделять особое внимание трем методическим областям. Во-первых, особенностям формирования выборки, расписанным до единичных процедур, задающих правила организации основы выборки, последующих механизмов отбора единиц наблюдения и критериям оценки качества и редактирования данных. Во-вторых, географии опроса, или территориальному покрытию исследования. В-третьих, уровню достижимости, или
2 Вплоть до 1970-х отсутствовали какие-либо стандарты качества по реализации выборочного исследования при детальной разработке норм и правил должного дизайна выборочного исследования [10]. Впервые вопрос о стандартизации коэффициентов ответов был поднят Американской статистической ассоциацией и только в 1982 г. Советом американских организаций, проводящих массовые опросы (Council of American Survey Research Organizations), была предпринята первая попытка стандартизации [8]. Рабочий вариант стандартов качества выборочного исследования предложен в 1998 г. Американской ассоциацией исследователей общественного мнения. До сих пор это единственный полный и фундированный перечень подходов к измерению качества выборочного исследования.
42 ■___________________________________________________________________________________________________________________________________________
особенностям реализации выборки. Наиболее важными показателями достижимости признаются уровень ответов, коэффициенты кооперации, отказов и контактов. Раскрытие информации по этим трем методическим аспектам является необходимым условием для оценки адекватности проведенного исследования. Только после получения такой информации можно приступать к анализу данных и построению моделей, не подвергая себя неоправданному риску производства ложного знания.
Цель настоящей работы - продемонстрировать минимальные требования к раскрытию методической информации, которых должны придерживаться все исследовательские коллективы при написании отчетной документации и научных статей, основанных на эмпирических материалах. Только обращаясь к реальному опыту, можно получить вменяемые и точные представления о границах собственных методических возможностях и внешних требованиях к их реализации. Поэтому мы отказываемся от сухого изложения стандартизированных требований и будем рассматривать данные конкретного исследования. Для исполнителей, исследовательских коллективов мы предлагаем пример грамотного составления методической отчетности полевого этапа исследования. Для заказчиков или лиц, формирующих технические задания на социальные обследования, настоящая работа может быть полезной в качестве реферативного руководства к оценке проделанной субконтракторами работы. Отсутствие внятных объяснений по каждому из обозначенных пунктов должно, по нашему мнению, сигнализировать о ненадлежащем исполнении исследовательской процедуры и ставить под сомнения все результаты опроса.
Методика формирования выборки
Центром методологии федеративных исследований РАНХиГС совместно с АНО «Социальная валидация» в ноябре 2012 г. проведено исследование представлений трудоспособного населения Российской Федерации о текущей пенсионной реформе. Исследуемой совокупностью являются граждане РФ от 18 лет до возраста выхода на пенсию. Статистическая погрешность выборочного исследования с объемом выборки 2000 респондентов составит не более 2,3%. Опрашивались мужчины 18-59 лет и женщины 18-54 лет. Если человек данной возрастной группы был пенсионером, то он исключался из исследуемой совокупности. Для этого в самом начале интервью задавался скрининговый вопрос о профессиональном статусе абонента.
Выборка строилась посредством случайной генерации номера телефона по DEF кодам мобильных операторов. Первоначально вся выборка (2000 респондентов) распределялась по федеральным округам (ФО) пропорционально численности населения исследуемых половозрастных групп (табл. 1).
Таблица 1 Расчетное распределение выборки по федеральным округам
Федеральный округ Количество респондентов, человек Доля в выборке, %
Дальневосточный 91 4,55
Приволжский 416 20,80
Северо-Западный 193 9,65
Северо-Кавказский 128 6,40
Сибирский 271 13,55
Уральский 172 8,60
Центральный 539 26,95
Южный (с 2010 года) 190 9,50
ИТОГО 2000 100,00
Далее в каждом федеральном округе из всей совокупности задействованных номеров мобильных телефонов проводился систематический отбор номеров в выборку с равным шагом (в пределах ФО) и случайной стартовой точкой. Такой механизм отбора номера равномерно распределял выборку по субъектам РФ в ФО, по операторам мобильной связи, по ОБР диапазонам и, следовательно, по населенным пунктам. Смещения по данным параметрам могли возникать в основном из-за различных уровней достижимости. Отметим, что при таком дизайне выборки до проведения опроса нельзя определить точное количество респондентов, которые будут опрошены в тех или иных регионах и населенных пунктах.
На следующем этапе отбора опрашивался человек, который взял трубку. Предполагается, что в случае опроса по мобильным телефонам, такой отбор является случайным на индивидуальном уровне, следовательно, можно говорить о репрезентативности населения без дополнительных процедур отбора (например, как это номинально принято в поквартирных опросах, когда проводится отбор внутри домохозяйства).
Каждый номер в пределах ФО имел равную вероятность попасть в выборку. Однако вероятность отбора респондентов не была равной, а зависела от количества мобильных телефонов (точнее - сим-карт), которыми постоянно пользуется респондент, и количества людей, постоянно пользующихся мобильным телефоном, который попал в выборку. Чем больше мобильных телефонов у респондентов, тем больше у него вероятность попасть в выборку, и чем больше людей пользуется телефоном, который попал в выборку, тем меньше вероятность каждого из них быть опрошенным, поскольку по одному номеру опрашивается один человек. Для компенсации разной вероятности отбора респондентов в ходе опроса респонденту задавались вопросы о количестве мобильных номеров, сим-карт которыми он постоянно пользуется, (Ымоб) и количестве людей, постоянно пользующихся «этим» телефоном (Ыресп).
Таблица 2 Особенности пользования мобильными телефонами в России (% от ответивших, данные без взвешивания, репрезентируются телефонные номера / репрезентируется население*).
Скажите, пожалуйста, вы всегда один (одна) пользуетесь этим мобильным телефоном, или им пользуется несколько человек? Если несколько, то сколько именно?
1 2 3 4 5 и более Всего
Сейчас Вы постоянно (не реже раза в неделю) пользуетесь одним номером мобильного телефона, сим-картой или несколькими? Если несколькими, то сколькими именно? Одним 56,8/64,8 3,4/7,8 0,6/2,1 0,1/0,6 0,2/1,4 61,3/76,9
Двумя 26,3/15,1 2,6/3,0 0,5/0,9 0,2/0,4 0/0 29,7/19,5
Тремя 5,7/2,2 0,3/0,2 0,2/0,2 0,1/0,1 0/0,1 6,4/2,9
Четырьмя и более 1,5/0,4 0,0/0,0 0/0 0/0 0/0 1,6/0,5
Затрудняюсь ответить 0,7/0,1 0,2/0,1 0/0 0/0 0,0/ 0,9/0,2
Всего: 91,2/82,7 6,7/11,2 1,4/3,3 0,4/1,2 0,3/1,5 100/100
*При репрезентации телефонных номеров за основу выборки принимается совокупность всех мобильных телефонных номеров. При репрезентации населения учитываются особенности пользования номерами телефонов (основа перевзвешивается с учетом количества людей, имеющих несколько мобильных номеров или пользующихся одним номером с другими членами семьи) - полученные цифры говорят о распределении параметров среди населения.
Больше половины (около 57%) номеров использовались одним человеком, причем он использовал лишь один номер. Каждый третий (34%) телефонный номер в России принадлежит человеку, который пользуется несколькими мобильными телефонами. Каждый десятый номер (9%) используется несколькими людьми. В итоге вероятность отбора респондента считалась по следующей формуле:
Ымоб
Р —---------,
Ыресп
где Ымоб - количество мобильных телефонов,
Ыресп - количество респондентов.
Каждому респонденту присваивался вес, обратно пропорциональный вероятности отбора, чтобы компенсировать разную вероятность отбора респондентов. Для исключения влияния на результаты опроса особенностей пользования мобильными телефонами в различных ФО веса нормировались в пределах каждого ФО. В результате взвешивания исходное распределение выборки по ФО сохранилось.
По всей видимости, развитие мобильных технологий, расширение рынка планшетов и смартфонов приведет к значительному увеличению числа владельцев нескольких сим-карт. Текущее состояние по количеству сим-карт на одного человека (77% пользуются одной сим-картой, 23% двумя и более), скорее всего, отражает ситуацию пяти-шести летней давности в странах Западной Европы и весьма близко к ситуации в странах Восточной Европы. Опираясь на разные источники, Марио Галлегаро с коллегами приводят следующие оценки пользователей нескольких сим-карт по странам Западной и Восточной Европы: в Италии на 2002 г. 20-25% населения; в Словении на 2004 г. 12-16%, в Финляндии на 2001 г. 7% и в Португалии - 4% [7, р. 650]. Маловероятно, чтобы количество пользователей нескольких сим-карт кардинально не увеличилось за последние годы и в этих странах. Поэтому необходимость коррекции вероятности отбора респондента в зависимости от количества сим-карт со временем будет только возрастать. Поскольку с ростом количества телефонов в домохозяйстве практики совместного использования одного мобильного телефона встречаются все реже [9], можно предположить, что все меньше людей со временем будут делить свой телефон с кем-либо из членов семьи (в нашем опросе доля таких людей - 17%). Однако для контроля равной вероятности попадания в выборку отобранных респондентов следует в каждом опросе по мобильным телефонам задавать подобные вопросы, пока доля абонентов, относящихся к мобильному телефону как разновидности коллективной связи, не станет ничтожно мала.
Для проведения опроса было задействовано два колл-центра (из Воронежа и Новосибирска). Поскольку предполагалось, что мобильный телефон респондент практически всегда держит под рукой, то время проведения опроса не ограничивалось стандартными вечерними часами в будние дни; опрос проходил с 11 до 21 часа по местному времени. Вместе с тем, после весьма краткого представления, все разговоры начинались с вопроса «Вам удобно говорить?» или «Вам удобно разговаривать?». Кроме формы вежливости, такая конструкция начала разговора необходима и для обеспечения безопасности абонента [14, р. 396]. Звонок может приходиться на время, когда абонент ведет автомобиль, занят каким-то делом, находится в публичном месте или ведёт важный разговор. Переключение внимания на входящий звонок может не только нарушать естественное развитие ситуации, но и угрожать жизни и здоровью абонента. Поэтому в дальнейшем важно как установить статистические границы наиболее комфортного времени разговоров, так и отделить скрининговый звонок
45 ■_______________________________________________________________________________________________
(отбор респондента) от основного интервью. Последнее требует большего времени и внимания, а значит, должно различаться по основным параметрам ведения разговора (время, внимание, уместность в данном контексте).
Отклонение по социально-демографическим параметрам
Одна из угроз репрезентативности опроса по мобильным телефонам - неполный охват исследуемой совокупности, ведь шанс быть опрошенными имеют лишь пользователи мобильных телефонов. Однако согласно данным Фонда «Общественное мнение», летом 2011 г. у 91% людей в возрасте от 18 до 60 лет был личный мобильный телефон. Следовательно, из выборочной совокупности исключается лишь 9% исследуемой группы. Это позволяет сделать экспертное предположение, что ошибка измерения, вызванная неполным покрытием целевой группы, не превысит 3-4% при наличии существенной зависимости исследуемых параметров от пользования мобильным телефоном. Если же такой зависимости нет, то неполное покрытие исследуемой группы не вносит систематической ошибки.
Судя по данным Фонда «Общественное мнение», уровень мобильной телефонизации снижается с возрастом. Например, среди людей в возрасте 18-44 лет 94% имеют мобильный телефон, среди людей 45-54 лет - уже 86%, а среди мужчин 55-59 лет - 82%. Данное явление должно вызывать занижение доли представителей старшего возраста в выборке. Как показывают расчеты, это занижение должно быть незначительным - старшая группа занижается на 1,3 процентных пункта, а самая молодая завышается на 0,9 процентных пункта. Однако в опросе этот эффект проявился значительно сильнее.
Таблица 3 Распределение результатов опроса, пользователей мобильными телефонами (ФОМ) и населения (Росстат) по возрастным группам, (% по столбцу)
Возрастные группы Результат опроса Пользователи моб.тел., ФОМ Население, Росстат
18 - 24 лет 21,2 19,6 18,7
25 - 34 лет 33,9 28,0 27,2
35 - 44 лет 21,9 22,9 22,9
45 - 54 лет 20,5 25,7 26,0
муж 55-59 лет 2,6 3,9 5,2
Доля самой молодой группы оказалась завышена относительно данных Росстата на 2,5 процентных пункта, людей от 25 до 34 лет завышена на 6,7 процентных пункта, людей от 35 до 44 занижена на 1,1 процентных пункта, людей от 45 до 54 занижена на 5,5 процентных пункта, мужчин от 55 до 59 лет занижена на 2,6 процентных пункта. Столь серьезные расхождения можно попытаться объяснить неоднозначной зависимостью между наличием мобильного телефона и вероятностью принять участие в опросе по этому телефону. Другими словами, гипотеза, что те, у кого есть мобильные телефоны, имеют равную вероятность быть опрошенными по ним (с учетом наличия нескольких телефонов и нескольких людей, пользующихся телефоном), поставлена под сомнение. Для более глубокого понимания данного феномена требуется изучить различия практик пользования мобильным телефоном среди представителей различных социальных групп. Второй гипотезой, объясняющей столь значительные расхождения данных по возрасту, может служить предположение о неравномерном распределении отказов по социальным группам (в том числе возрастным). Наконец, третья гипотеза - различия связаны с ошибками в регистрации населения, допущенными в последней Переписи населения.
46 ■______________________________________________________________________________________________________
Если не принимать во внимание третью гипотезу, одним из выходов из сложившейся ситуации может быть наложение квотных условий на отбор респондентов. Однако, на наш взгляд, данная мера является поверхностной, поскольку в результатах опроса мы получим «правильное» распределение по полу и возрасту, не понимая истинной природы полученных смещений. Квотное задание также не гарантирует отсутствие систематических смещений по неквотируемым переменным. Помимо этого, наложение квотных ограничений не позволяет считать выборку случайной, а, следовательно, и репрезентативной в строгом смысле.
В данном же опросе, если предполагается сильная корреляция изучаемых переменных с возрастом, рекомендуется проводить расчеты с использованием весовых коэффициентов, выравнивающих распределение выборочной совокупности по возрасту. Исходя из предварительных результатов, в которых наблюдались статистически значимые зависимости между возрастом и большинством зависимых переменных, выборка была перевзвешена в соответствии с данными Росстата.
Использование таких весов не сильно сказалось на основных социальнодемографических распределениях: распределение выборки по федеральным округам, типам населенных пунктов изменилось не более чем на 0,4 процентных пункта. Заметнее перевзвешивание сказалось на переменных, которые сильно коррелируют с возрастом. Например, суточная аудитория Интернета уменьшилась на 3,2 процентных пункта; доля лиц со средним специальным образованием увеличилась на 1 процентный пункт в основном за счет уменьшения доли имеющих неоконченное высшее образование.
Таблица 4 Сопоставление результатов проведенного опроса с данными Росстата по образованию (в %)
Скажите, пожалуйста, какое у вас образование? Результат опроса Результат опроса с весами на возраст Данные Переписи населения 2010 года (м 18-59, ж 18-54)
Неполное среднее 3,8 3,8 1,3
Среднее общее 18,7 18,9 24,9
Начальное профессиональное - - 6,3
Среднее специальное 38,2 39,1 32,7
Незаконченное высшее 8,2 7,3 6,0
Высшее 31 30,8 25,7
Затрудняюсь ответить 0,1 0,1 3,1
Существенной характеристикой человека в наше время является частота пользования Интернетом. Фонд «Общественное мнение» регулярно проводит замеры аудитории Интернета, задавая вопрос: «Приходилось ли Вам лично пользоваться Интернетом? Если да, то когда Вы лично последний раз пользовались Интернетом?». В текущем опросе использована иная операционализация этого же концепта: «Пользуетесь ли Вы Интернетом? Если да, то каждый день, несколько раз в неделю или несколько раз в месяц и реже?». Сравнение распределений двух столь разных вопросов некорректно. Однако процент людей, никогда не пользующихся Интернетом, должен быть схожим в обоих опросах. По данным ФОМа (лето 2012 г., с фильтром по возрасту и наличию мобильного телефона) 24,8% опрошенных никогда не пользуются Интернетом, в текущем опросе - 21,8%, с весами на возраст, для коррекции возможных смещений - 24,8%, т. е. полное совпадение. Весьма близки результаты двух опросов и при разбивке выборок по типам населенных пунктов (табл. 5). Недельная аудитория: ФОМ - 67%, текущий опрос - 68,7%, с весами на возраст - 65,5%. Суточная аудитория: ФОМ - 55,1%, текущий опрос - 49,9%, с весами на возраст - 46,7%.
47 ■_______________________________________________________________________________________________
Данные по пользователям Интернета, независимой социально-демографической переменной, практически совпадают в двух типах опроса. Этот показатель требует дальнейшего наблюдения, и в случае обнаружения его устойчивости к разным типам интервьюирования он может служить критерием оценки внешней валидности исследования, что чрезвычайно важно в условиях весьма ненадежных данных, предоставляемых Росстатом.
Таблица 5 Непользователи Интернета, (% от опрошенных)
Тип населенного пункта Никогда не приходилось пользоваться Интернетом
Результат опроса Результат опроса с весами на возраст Данные ФОМ (м 18-59, ж 18-54, пользователи моб.тел)
город с населением 1 млн и более 8,7 10,5 13,1
город с населением от 500 тыс. до 1 млн 16,2 20,0 18,9
город с населением от 250 до 500 тыс. 15,5 16,9 19,6
город с населением от 100 до 250 тыс. 18,1 21,3 19,2
город с населением от 50 до 100 тыс. 26,6 31,4 24,5
город с населением менее 50 тыс. 21,5 24,3 25,7
посёлок городского типа 33,3 37,5 28,5
село 39,5 42,6 39,5
нет данных 26,8 30,7 -
География опроса
Особенностью телефонного опроса является тот факт, что при его проектировании не обязательно строить кластерную выборку, т.е. группировать респондентов по кластерам (населенным пунктам, районам). Благодаря этому выборка получается «распыленной» по всей территории России, что позволяет включить в неё недостижимое для обычного опроса по месту жительства количество субъектов РФ и населенных пунктов. Помимо этого, в выборку без дополнительных затрат попадают труднодоступные районы Крайнего Севера, удаленные районы и районы с неспокойной криминогенной обстановкой (например, некоторые районы Северного Кавказа), которые обычно исключаются из опроса по месту жительства (карта 1).
В ходе исследования были опрошены респонденты из 82 субъектов РФ (всех субъектов РФ, кроме Ненецкого автономного округа). В выборку при общем объеме 2000 респондентов попало 386 городов, 44 поселка городского типа и 358 сельских населенных пунктов (у 159 респондентов не удалось идентифицировать населенный пункт). Стоит отметить, что название населенного пункта интервьюер записывал со слов респондента, поэтому не во всех случаях удалось его распознать. Населенный пункт восстанавливался по двум вопросам: «В каком регионе Вы сейчас живете?» и «Вы живете в региональном центре, другом городе или в сельской местности?». Если респондент говорил, что живет в региональном центре, то по региону восстанавливался город, если респондент говорил, что живет в другом городе, интервьюер записывал название города со слов респондента. Однако как показало прослушивание аудиозаписей интервью, значительная часть респондентов не различают понятия региональный и районный центры, что может вносить неконтролируемые смещения в данные по этим вопросам.
Рисунок 1 — Реализованная выборка в разрезе федеральных округов
Интересно сравнить распределение выборки по типам населенных пунктов с официальными данными Росстата (табл. 6). К сожалению, Росстат не публикует данные о численности населения в разбивке по возрасту и типу населенного пункта, поэтому сравнить распределение опросных данных можно лишь с официальным распределением всего населения России по типам населенных пунктов (напомним, что опрашивались мужчины в возрасте 18-59 лет и женщины 18-54 года).
Таблица 6 Сопоставление распределения по типу населенного пункта, полученного в ходе опроса, с данными Росстата (в %)
Тип населенного пункта Опрос 18-54(59) Росстат 0+ Расхождение
более 1 млн 20 20 -0,2
от 500 тыс. до 1 млн 15 11 3,8
от 250 до 500 тыс. 12 9 3,0
от 100 до 250 тыс. 8 10 -1,6
от 50 до 100 тыс. 7 8 -0,6
менее 50 тыс. 9 12 -2,9
ПГТ 2 5 -3,5
село 19 26 -7,0
нет данных 9 0 8,9
В данном сравнении выявились систематические отклонения - выборка смещена в сторону более крупных населенных пунктов. Такое смещение можно объяснить, во-первых, существующей миграцией взрослого населения в крупные населенные пункты из сел и маленьких городов, что не отображается в распределении всего населения по типам населенных пунктов. А во-вторых, более высоким проникновением мобильной связи в крупные города. Также стоит отметить, что у ряда демографов вызывает сомнение качество проведения Переписи населения в России, на основе которой рассчитываются официальные данные Росстата.
49 ■___________________________________________________________________________________________________
Помимо сравнения данных опроса с данными Росстата по типам населенных пунктов можно сопоставить распределение по субъектам РФ. В большинстве регионов эти распределения слабо отличаются друг от друга. Заметно (более, чем на 10 респондентов) выборка занижена в Москве, Санкт-Петербурге и Ростовской области, заметно завышена - в Тюменской, Оренбургской областях и Чечне. Отчасти такое расхождение можно объяснить различием в уровне отказов, высоком для первой группы (67%) и низком для второй группы (53%) при среднем уровне отказов в 62%.
Достижимость
Уровень достижимости в данном опросе принципиально зависит от колл-центра, назовем их условно Воронеж и Новосибирск (по городам, в которых они расположены). Данная зависимость объясняется, во-первых, тем, что в Воронеже дозвоны осуществляли интервьюеры, а в Новосибирске дозвоны проводились автоматически и переключались на интервьюера в случае, если респондент брал трубку. Во-вторых, программа дозвона Новосибирска не регистрировала несуществующие номера. Таким образом, при расчете коэффициентов достижимости Новосибирска учитывались все телефонные номера, на которые были проведены дозвоны, а для Воронежа - только существующие телефонные номера. Фактически работа обоих колл-центров разбита на две части: 1) актуализация базы данных случайно сгенерированных номеров и 2) звонок, направленный на разговор. Если идентификация несуществующих номеров проводится предельно корректно, и количество попавших в этот список временно недоступных номеров несущественно, подобное разделение улучшает не только коэффициенты достижимости, но и производительность работы колл-центра. Проблема несопоставимости данных вызвана разным программным обеспечением, задействованным для организации автоматической обработки данных. Чтобы не происходило подобных недоразумений, рекомендуется работать с одинаковыми аппаратными ресурсами, что позволит своевременно идентифицировать коммуникативные проблемы, возникающие в том или ином колл-центре.
В соответствии со стандартами качества опросов, разработанными Американской ассоциацией исследователей общественного мнения [4], были рассчитаны четыре коэффициента, отражающих результативность выборки. Коэффициент ответов (RR3), или отношение полностью взятых интервью ко всем номерам, включенным в выборку, составил 13%. Коэффициент кооперации (СООР1), или доля опрошенных, ко всем единицам наблюдения, удовлетворяющим условиям отбора, с которыми удалось связаться по телефону, составляет 24%. Коэффициент отказов (РЕР3), или отношение отказавшихся от участия в опросе людей от всех потенциально удовлетворяющих условиям выборки единицам наблюдения, равен 40%. Наконец, коэффициент контактов (00Ы2), или доля телефонных номеров, по которым удалось дозвониться ко всем работающим номерам, включенным в выборку, составил 55% (табл. 7).
Коэффициент 000Р1, в расчет которого не входит количество несуществующих номеров, у обоих колл-центров находится на одном уровне. Остальные коэффициенты (РР3, РЕР3, 00Ы2) значительно различаются между колл-центрами, но у каждого колл-центра достаточно устойчивы по федеральным округам. Для опросов по мобильным телефонам типична ситуация большой вариативности коэффициентов ответов и отказов. Это происходит из-за большей вариативности условий и внешних факторов, сопутствующих соединениям по мобильным телефонам, нежели стационарным. Так, проводя сравнительное исследование по одному опросному инструменту в США, Словении и Финляндии, Марио Каллегаро с коллегами зафиксировали коэффициент ответов в США - 10%, в Словении - 27%, а в Финляндии - 79%
50 ■_______________________________________________________________________________________________
[7, р. 666]. Столь сильные различия отчасти объясняются разным выборочным дизайном и техникой проведения опроса: в США и Словении была реализована случайная генерация номером, а в Финляндии опрос проводился по базе данных, доступной через Интернет. Кроме того, в Финляндии всем попавшим в выборку абонентам были предварительно разосланы письма. Различия между США и Словенией можно объяснить тем, что в США были задействованы все операторы мобильной связи, а в Словении выбран лишь один, покрытие сети которого составило 80% абонентов. Авторы не проделали специальный детальный анализ расхождений, основанный на экспериментальных планах, однако уже приведенных объяснений достаточно для того, чтобы не браковать массивы с сильно различающимися коэффициентами достижимости, а пытаться сконструировать релевантные интерпретации зафиксированных расхождений.
Таблица 7 Коэффициенты достижимости в зависимости от Федерального округа и колл-центра
Колл-центр Федеральный округ РЯЭ С00Р1 ЯБР3 С0М2
Воронеж ПФО 0,19 0,25 0,54 0,77
СЗФО 0,16 0,23 0,51 0,70
СКФО 0,18 0,24 0,51 0,76
СФО 0,22 0,31 0,47 0,72
УФО 0,18 0,27 0,45 0,65
ЦФО 0,17 0,23 0,54 0,73
ЮФО 0,17 0,23 0,53 0,74
Все 0,18 0,24 0,52 0,73
Новосибирск ПФО 0,05 0,23 0,18 0,23
СФО 0,08 0,26 0,23 0,31
УФО 0,07 0,27 0,19 0,26
ДВФО 0,06 0,26 0,18 0,25
Все 0,07 0,26 0,19 0,26
Общий результат 0,13 0,25 0,39 0,54
Стоит указать на характеристики работы колл-центров, которые не описываются стандартными определениями качества телефонных опросов, а именно: доля номеров, на которые дозвонились, от всех номеров, на которые были проведены дозвоны, и доля респондентов, не входящих в целевую группу, от всех согласившихся принять участие в опросе. Эти характеристики не зависят от фиксации несуществующих номеров, следовательно, при прочих равных условиях должны быть инвариантны относительно колл-центра. Однако во всех федеральных округах, где работали оба колл-центра (Приволжский, Сибирский и Уральский - выборка в них разбивалась приблизительно поровну), значения этих параметров оказались зависимыми от колл-центра (табл. 8).
Зависимость доли номеров, на которые дозвонились, от колл-центра можно объяснить различиями в системах дозвона (силами интервьюеров или автоматически). В Новосибирске с автоматическим дозвоном эта доля стабильно меньше, чем в Воронеже. Возможно, система дозвона запрограммирована на слишком непродолжительный период ожидания ответа, и часть респондентов просто не успевает взять трубку. Доля же непрошедших по фильтру зависит от характеристик исследуемой совокупности и не может зависеть от характеристик интервьюера, колл-центра, специфик набора номера. Однако эта доля значительно отличается у двух колл-центров. Для интерпретации этого различия у нас пока нет гипотез.
51 ■______________________________________________________________________________________________
Таблица 8 Характеристики работы колл-центров в разбивке по Федеральным округам
Колл-центр Федеральный округ Доля номеров, на которые дозвонились Доля непрошедших по фильтру (от согласных на опрос)
Воронеж ПФО 25% 25%
Новосибирск 13% 34%
Воронеж СЗФО 22% 29%
Воронеж СКФО 22% 18%
Воронеж СФО 28% 29%
Новосибирск 17% 31%
Воронеж УФО 24% 28%
Новосибирск 16% 35%
Воронеж ЦФО 23% 22%
Воронеж ЮФО 24% 26%
Новосибирск ДВФО 14% 36%
Воронеж Все 24% 24%
Новосибирск Все 15% 33%
Общий результат 20% 20%
Заключение
Опросы по мобильным телефонам входят в обыденные, рутинные практики исследовательских компаний. Чрезвычайно важно, чтобы за рутинизацией опросных процедур не были потеряны методическая точность и надежность выборочного инструментария. Иначе, даже располагая всеми необходимыми техническими средствами, исследователи в очередной раз получат весьма сомнительный инструмент конструирования общественного мнения. Зарубежными коллегами накоплен значительный опыт по методическому сопровождению подобных опросов. Отталкиваясь от разработок ведущих западных исследовательских центров, частично воспроизводя, частично дорабатывая и видоизменяя экспериментальные планы, можно сформулировать несколько рекомендаций, следование которым способствует поддержанию качества проводимых опросов:
- В России сформировалась весьма благоприятная ситуация для развития опросов по мобильной связи. Во-первых, нет тарификации входящих звонков. Во-вторых, несмотря на отсутствие привязки номерных знаков к той или иной территории, операторы мобильной связи придерживаются определенных правил в распределении диапазонов по географическому признаку. Последнее позволяет строить случайные телефонные выборки, не прибегая к дополнительным процедурам актуализации номеров (например, дополнительная генерация номеров по дозвонившемуся и подходящему по условиям отбора номеру), попадающих в требуемое географическое пространство. В-третьих, по уровню мобильной телефонизации Россия не отстает от мировых тенденций и уже сейчас можно утверждать о высоком охвате населения страны этим способом связи.
52 ■_______________________________________________________________________________________________
- Минимальным набором методических характеристик опроса, без которого не должно рассматриваться ни одно исследование, должны быть статистические показатели достижимости, детальное описание процедур формирования и ремонта выборочной совокупности. Кроме того, следует приводить все аргументы, которыми руководствовались аналитики, принимая то или иное методическое решение.
- Необходимо обеспечивать максимально возможное раскрытие методической информации проведенных опросов. На этапе становления методологии, наблюдается большая вариантивность основных показателей, объяснить которую невозможно без детального анализа всех условий проведения опроса. Поэтому к стандартным коэффициентам достижимости и описаниям выборки следует добавлять табличные распределения географического покрытия опроса, особенностей работы интервьюеров и влияние любых методических интервенций (ремонт выборки) на основные зависимые и независимые переменные исследования.
- Процедура достижения по телефону потенциального респондента распадается на три этапа. Это актуализация сформированной базы данных и отсев неработающих и незарегистрированных телефонных номеров; проведение скрининга и отбор отвечающим условиям абонентов; проведение интервью. Каждый этап характеризуется особенностями соединения и требованиями к безопасности и комфортности возможных собеседников.
Методические исследования не могут рассматриваться в качестве не подлежащих раскрытию, наносящих угрозу конфиденциальности заказчика, участника опроса или представляющих интеллектуальную собственность разработчика. Придерживаясь этических норм и текущего законодательства, следует избегать любой формы закрытия методической информации. Развивая местечковое знание, исследователь не только загоняет в тупик собственную компанию, но и существенно снижает эффективность работы коллег. Методологическое знание принадлежит к тому типу интеллектуальной собственности, отчуждение которой лишь умножает ее стоимость для всех сторон сделки дарения.
Литература
1 Османов Т. Э. RDD выборка номеров мобильных и стационарных телефонов : опыт использования в России : выступление на конф. «Кризис в методах опроса и пути его преодоления» (Киев, 2011. 28-29 окт.).
2 Сапонов Д. И. Мобильные опросы в социологических исследованиях // Мониторинг общественного мнения. 2011. № 4 (104). С. 64-73
3 Сапонов Д. И. Мобильные опросы : влияние способа сбора данных на результат// Мониторинг общественного мнения. 2012. №1 (107). С. 45-51
4 Стандартные определения : системат. описание диспозицион. кодов и
коэффициентов результативности для массовых опросов. 3-изд. 2004 год / Американ. ассоц. исследователей обществ. мнения ; пер. с англ. Д. М. Рогозина, Е. М. Киселева // Социологический журнал. 2005. № 2. С. 78-119.
5 A survey of mobile phone sensing / Lane N.D., Miluzzo E., Lu H. et al. // IEEE Communications Magazine. 2010. Vol. 48. Nr 9. P. 140-150.
6 Blumberg S. J., Luke J. V. Wireless substitution : preliminary data from the january-june 2006 National Health Interview Survey // Centers for Disease Control and
53 ■_______________________________________________________________________________________________
Prevention : [веб-сайт]. URL:
http://www.cdc.gov/nchs/data/hestat/wireless2006/wireless2006.htm.
7 Fitting disposition codes to mobile phone surveys : experiences from studies in Finland, Slovenia and the USA / Callegaro M., Steeh Ch., Buskirk T. D. et al // Journal of the Royal Statistical Society. Series A, Statistics in society. 2007. Vol. 170. P. 647670.
8 Frankel L. R. The report of the CASRO task force on response rates // Improving data quality in a sample survey : proceeding Marketing Science Institute workshop, 1982 8th november / ed. by F. Wiseman. Cambridge: Marketing Science Institute, 1983. P. 1-11.
9 Household telephone service and usage patterns in the US in 2004 / Tucker, C., Brick, M.J., Meekins, B.J., Morgenstein, D. // Proceeding survey research methods section American Statistical Association. 2005. P. 4528-4534.
10 Kviz F. J. Toward a standard definition of response rate // Public Opinion Quarterly. Vol. 41. P. 265-267.
11 Standard definitions : final dispositions of case codes and outcome rates for surveys / The American Association for Public Opinion Research. Deerfield. 7th ed. IL: AAPOR, 2011.
12 Standards for minimal disclosure // AAPOR code of professional ethics and Practice. Part III. Deerfield, IL: AAPOR, 2010. P. 3-5.
13 Vehavar, V., Berzelak, N., Manfreda, K.L. Mobile phones in an environment of competing survey modes : аpplying metric for evaluation of costs and errors // Social Science Computer Review. 2010. Vol. 28. Nr 3. P. 303-318.
14 Zuwallack, R. Piloting data collection via cell phones : results, experiences, and lessons learned // Field Methods. 2009. Vol. 21. Nr 4. P. 388-406.
