CC BY
73
ТЕОРИЯ, МЕТОДОЛОГИЯ И МЕТОДЫ
DOI: 10.14515/monitoring.2016.5.04 Правильная ссылка на статью:
Османов Т. Э., Рогозин Д. М. Оптимальное соотношение мобильных и стационарных телефонов в двухосновной выборке, проектируемой для телефонного опроса // Мониторинг общественного мнения : Экономические и социальные перемены. 2016. № 5. С. 41—63. For citation:
Osmanov T. E., Rogozin D. M. Optimal Ratio Between Cell and Landline Phones in Dual-Frame Telephone Survey. Monitoring of Public Opinion: Economic and Social Changes. 2016. № 5. P. 41—63.
Т. Э. Османов, Д. М. Рогозин ОПТИМАЛЬНОЕ СООТНОШЕНИЕ МОБИЛЬНЫХ И СТАЦИОНАРНЫХ ТЕЛЕФОНОВ В ДВУХОСНОВНОЙ ВЫБОРКЕ, ПРОЕКТИРУЕМОЙ ДЛЯ
ТЕЛЕФОННОГО ОПРОСА
ОПТИМАЛЬНОЕ СООТНОШЕНИЕ МОБИЛЬНЫХ И СТАЦИОНАРНЫХ ТЕЛЕФОНОВ В ДВУХОСНОВНОЙ ВЫБОРКЕ, ПРОЕКТИРУЕМОЙ ДЛЯ ТЕЛЕФОННОГО ОПРОСА
OPTIMAL RATIO BETWEEN CELL AND LANDLINE PHONES IN DUAL-FRAME TELEPHONE SURVEY
ОСМАНОВ Тимур Энварвикович — ведущий специалист Фонда «Общественное мнение», Москва, Россия. E-MAIL: osmanovtim@yandex.ru ORCID: 0000-0002-4065-5787
OSMANOV Timur Envarkirovich1 — leading expert
E-MAIL: osmanovtim@yandex.ru ORCID: 0000-0002-4065-5787
РОГОЗИН Дмитрий Михайлович — кандидат социологических наук, зав. лабораторией методологии федеративных исследований ИнСАП РАНХиГС при Президенте РФ; старший научный сотрудник Института социологии РАН, Москва, Россия. E-MAIL: nizgor@gmail.com ORCID: 0000-0001-7879-1111
Аннотация. Несмотря на то, что двухосновные выборки широко распространены во всем мире, так и не при-
ROGOZIN Dmitry Mikhailovich23 — Candidate of Sociological Sciences, Senior Researcher
E-MAIL: nizgor@gmail.com ORCID: 0000-0001-7879-1111
1 Public Opinion Foundation, Moscow, Russia
2 Russian Presidential Academy for National Economy and Public Administration
3 Institute of Sociology RAS, Moscow, Russia
Abstract. Despite the fact that dual-frame sample are widely spread across the world, there is no consensus
няты конвенциональные решения для определения пропорций стационарных и мобильных телефонов. В статье предложен метод определения пропорции мобильных и стационарных телефонов, нацеленный на то, чтобы оценки итоговой выборки максимально приближались к параметрам изучаемой совокупности. Для этого строится модель, позволяющая минимизировать различия между оценками выборки и параметрами изучаемой совокупности по половозрастным признакам населения, проживающего в разных регионах России. Впервые предложены оценки, обосновывающие разные пропорции мобильных и стационарных телефонов практически для всех субъектов Российской Федерации. Приведены оценки надежности построенной модели, что позволяет оценивать риск применения модели в каждом административно-территориальном образовании. Полученные пропорции могут использоваться в текущих проектируемых комбинированных выборках мобильных и стационарных телефонов. Для уточнения и совершенствования методики оценки требуются дальнейшие методические наблюдения и экспериментальные планы.
on the ratio of landline to cell interviews. The paper proposes a method of defining the ratio of cell and landline phones. This method is aimed to narrow the gap between the sample and population estimates of gender and age distribution for different regions. The paper is the first to propose justified proportions of cell and landline phones for almost every region of the Russian Federation. We provide reliability estimates of the designed method; it helps evaluate risks of this method application in any territorial entity. The obtained proportions could be used in the dual-frame sample designs of cell and landline phones. Further methodical observation and experiments are required to improve and to calibrate the suggested method.
Ключевые слова: комбинированная выборка мобильных и стационарных телефонов, массовые телефонные опросы, проектирование выборки, теория выборки, телефонизация регионов Российской Федерации
Key words: dual-frame sample of cell and landline phones, telephone surveys, sample design, sample theory, telephone usage in Russian regions
Мы живем в мире технологических сдвигов, кардинально изменяющих социальные отношения в пределах одного поколения. Еще недавно телефонный опрос рассматривался лишь как способ достижения весьма узких целевых групп — владельцев стационарных телефонов, проживающих в городах, с уровнем дохода и образования выше среднего, занятых или недавно вышедших на пенсию с соци-
ально ориентированных предприятий. Экспоненциальный рост мобильной связи в 2000-е годы привел к практически полному покрытию всего населения России и предоставлению услуги всем без исключения социальным группам [Османов, Рогозин, 2013: 33]. И хотя в последние годы прирост новых абонентов существенно замедлился, распространенность мобильной связи настолько велика, что зачастую можно пренебречь 4—5 % населения не имеющих мобильных телефонов.
Приход мобильных устройств в повседневный мир граждан кардинальным образом изменил привычные практики общения со знакомыми и незнакомыми людьми. Если ранее телефон рассматривался как специфическое средство для разговора при невозможности личной встречи или как способ договориться о последней — теперь телефонный разговор весьма часто замещает личные встречи, что особенно характерно для общения с незнакомыми людьми. Можно выделить четыре гипотезы подобного поведения, которые требуют дальнейших проверки и изучения. Во-первых, такой вид общения снимает необходимость опасаться какого-либо физического воздействия, нежелательных негативных последствий от прямого контакта. Во-вторых, телефонный разговор легче прервать, а значит, снижается психологическое давление от неприятной или нежелательной встречи. В-третьих, разговор по телефону можно вести параллельно с другими делами, не стеснять себя и не подстраиваться под собеседника в ходе общения. В-четвертых, мобильный телефон для многих стал настолько обиходным предметом, что воспринимается как естественное продолжение своего тела. Из подобных атрибутов, уходящих в прошлое, деформирующихся или занимающих узкие ниши, можно назвать часы. Ранее, механические или электронные, они выступали неизменным атрибутом подавляющего большинства людей, испытывающих потребность как-то планировать жизнь, вступать в социальные отношения. Сейчас эту функцию взял на себя телефон, незаметно переопределив и наручные часы как одно из устройств, поддерживающих оправданность мобильной телефонии.
Изменения в обращении с телефонной связью отразилось и на опросных практиках. Если в 1980—1990-х гг. исследователи фиксировали сокращение различий в ответах, полученных в личных и телефонных интервью [Leeuw, 1992; Leeuw, Zouwen's, 1988; Groves, 1990: 235], последние экспериментальные планы, проводимые в разных странах, все чаще показывают лучшее качество и устойчивость данных, полученных в телефонных, нежели личных интервью, даже по сложным темам и относительно большим, развернутым анкетам [Fernández et al., 2012; Diaz de Rada, 2011]. Предположить такую ситуацию 20—25 лет тому назад было просто невозможно.
Вместе с тем наличие мобильного или стационарного телефона автоматически не гарантирует возможности связи с его обладателем. Люди по-разному пользуются устройствами связи: для одних это средство коммуникации исключительно со знакомыми и родственниками, для других—возможность осуществления предпринимательской деятельности, для третьих—средство скоротать досуг, простои на работе или образовавшееся свободное время. Для анализа надежности двухосновной выборки мобильных и стационарных телефонных номеров нас не столько интересует все разнообразие практик пользования телефонной связью, сколько
систематически возникающие различия между группами абонентов, до которых удалось дозвониться по мобильным или стационарным телефонам.
Один из наиболее надежных и валидных параметров, которые научились измерять социальные исследователи, — это половозрастная структура населения. Во-первых, большей частью населения России не проблематизируется ни возраст, ни пол. Мы склонны определять пол по первичным половым признакам, и любые отклонения воспринимаются, скорее, как девиации, необычные, бросающиеся в глаза характеристики человека. Гендерные стереотипы здесь работают на надежность измерительных практик, подталкивая людей к однозначному и непротиворечивому установлению пола. Чуть хуже обстоит ситуация с возрастом. В зависимости от разных условий жизни, отношения к своему телу, привычек и склонностей, люди выглядят по-разному, и мы гораздо чаще, если сравнивать с полом, ошибаемся при определении возраста. Но и с этим параметром, из-за распространения документов, в которых требуется указание возраста (от свидетельства о рождении и паспорта до заполнения анкет по различным поводам), измерения более-менее надежны. Люди привыкли однозначно идентифицировать свой возраст. Во-вторых, из-за прямого тождества пола и возраста, идентифицируемых в разговоре и указываемых в тех или иных документах, снижается требование к качеству и добросовестности переписных процедур. Хотя перепись населения России ведется с многочисленными нарушениями, сбоями в регистрации, искусственным завышением численности, о чем не раз упоминалось в профессиональном сообществе [Богоявленский, 2008; Щербаков, 2010; Миронова, 2011; Шевченко, Беришвили, 2011; Андреев, 2012], и подавляющее большинство параметров смещено в ту или иную сторону, можно с большой долей уверенности утверждать, что пол и возраст—оценки, подверженные минимальным смещениям при организации Переписи населения 1. Даже в случае заполнения переписных листов по домовым книгам и административным записям, без непосредственного контакта с людьми, переписчики не ошибаются в регистрации столь устойчивых параметров, поскольку они, как правило, корректно задокументированы в соответствующих государственных структурах. Более того, от половозрастной структуры населения никак не зависит финансирование или административное управление регионов, поэтому региональные службы не имеют какого-либо интереса в фальсификации данных и умышленном переопределении половозрастных пропорций населения, проживающего на той или иной территории.
Высокая надежность измерения пола и возраста, по сравнению с любыми другими признаками, подталкивает к определению этих параметров в качестве основных для анализа качества выборочного исследования. Безусловно, послед-
1 Н. Мкртчян подчеркивает, что перепись верно отражает демографические тенденции, однако не дает точных данных о реальном населении России. Местные власти заинтересованы в завышении численности населения, поскольку это является важным бюджетообразующим показателем [Мкртчян, 2011]. Это связано как с недобросовестностью переписчиков, давлением органов власти, так и с отказами населения корректно отвечать на поставленные вопросы, особенно относящиеся к национальной принадлежности. В свою очередь параметры пола и возраста менее подвержены искажениям, поскольку не связаны напрямую с интересами различных сторон. Исключение составляют лишь старшие возрастные группы от 90 лет и выше, в которых традиционно наблюдается завышение своего возраста [Андреев, 2012].
нее имеет смысл только тогда, когда ни пол, ни возраст не квотируются, что фактически равно отказу от какого-либо контроля за качеством реализации выборки по этим признакам.
Предмет исследования
После предварительного описания «горизонта» (по Шюцу), или текущего основания, перечня релевантных методических наблюдений, можно перейти к предмету настоящего исследования — осмысленному выбору доли мобильных и стационарных телефонов в проектировании выборки для телефонного опроса. Несмотря на практическую важность, необходимость однозначного определения пропорций в каждом опросе, проходящем на двухосновной выборке, до сих пор ни в России, ни за рубежом не выработано какого-либо однозначного и обоснованного решения.
Установление пропорций, по большей части, опирается на конвенциональные представления о распространенности в изучаемой совокупности того или иного типа соединения: людей имеющих только стационарные, только мобильные телефоны или располагающие и теми, и другими [Lohr, 2007]. Альтернативным решением выступает закрепление пропорций в самих процедурах отбора, когда по стационарным телефонам опрашиваются респонденты вне зависимости от наличия у них мобильного телефона, а по мобильным опрос ведется лишь тех лиц, у которых отсутствуют стационарные [Hu et al., 2011]. Техническая оправданность (возможность точно рассчитать вероятность попадания в выборку различных групп абонентов) сводится на нет удорожанием опроса, искусственным увеличением его сроков, уменьшением целевой группы, из-за отказа опрашивать человека по мобильному телефону, если в его домохозяйстве имеется стационарный [Vicente, Reis, 2009: 110]. Однако такого рода дизайн вполне допустим для лонгитюдных исследований, которые уже многие годы проводятся по стационарным телефонам 2. Включение подвыборки из мобильных направлено исключительно на компенсацию постепенного падения уровня покрытия стационарными телефонами населения страны [Blumberg, Luke, 2009; Brick et al., 2006; Brick, et al., 2007; Link et al., 2007; Vicente, Reis, 2009]. Вполне вероятно, что в обозримом будущем стационарные телефоны вовсе займут весьма ограниченную нишу и будут использоваться лишь для достижения специфических целевых групп.
Мы предлагаем отказаться от любых допустимых решений, основанных на малообоснованных конвенциях или «здравом смысле», в пользу поиска оптимального сочетания мобильных и стационарных телефонных номеров. В качестве параметра, подлежащего оптимизации, можно использовать упомянутые выше надежные половозрастные признаки населения. Наша задача — таким образом определить пропорции мобильных и стационарных телефонов, чтобы оценки итоговой выборки максимально приближались к параметрам изучаемой совокупности.
2 Например, поддерживаемое Центром контроля и предотвращения заболеваний лонгитюдное исследование факторов поведенческих рисков (Behavioral Risk Factor Surveillance System) проводится с 1984 г. посредством телефонного опроса на случайных выборках (RDD). Подробную информацию о дизайне исследования, методах опроса и анкетных вопросах можно получить по ссылке http://www.cdc.gov/brfss.
Объект оптимизации
Поскольку нас интересуют переменные пола и возраста, которые устойчивы во времени и задаются во всех без исключения опросах, для анализа можно использовать совокупный массив из разных исследований. Возьмем в качестве таковых телефонные опросы Фонда «Общественное мнение», репрезентирующие население России в возрасте 18 лет и старше. Однако мы не применяем весовые коэффициенты для перевзвешивания массива по вероятности попадания в выборку абонентов мобильных и стационарных телефонов. Другими словами, анализируемая выборка (объект оптимизации) репрезентирует исключительно телефонные номера, а не население Российской Федерации. Не учитывается количество телефонов у абонента и количество пользователей у стационарных и мобильных телефонов. Последние редко используются коллективно, однако такие случаи регистрируются (чаще в сельской местности и у людей с низким достатком) [Османов, Рогозин, 2013].
Мы ограничились 50 опросами, проведенными с марта 2013 г. по январь 2016 г. Совокупный объем выборки полных интервью по всем опросам составил 53021 респондентов. Во всех опросах выборка строилась по единому принципу случайного генерирования мобильных и стационарных телефонных номеров (RDD). За основу бралась обновляемая информация с сайта Россвязи о задействованных на территории России диапазонах ABC (для стационарных телефонов) и DEF (для мобильных телефонов). Выборка стратифицировалась на 4 географических зоны, выделенных на основе часовых поясов: Центр, Урал, Сибирь и Восток. С апреля 2015 г. добавилась пятая группа — «Столицы», в которую вошли регионы с низким коэффициентом кооперации (Москва, Московская область, Санкт-Петербург, Ленинградская область). По мобильным опрашивались люди, которые взяли трубку, по домашним стационарным проводился вероятностный отбор из всех, проживающих в домохозяйстве (с января 2014 г. из всех проживающих и находящихся дома в момент звонка интервьюера). По служебным стационарным телефонам опрос не проводился.
Во всех опросах была установлена пропорция между полными интервью, проведенными по стационарным и мобильным телефонам, в отношении 37:63, которая регулировалась посредством набора номеров, идентифицируемых как стационарные или мобильные (по данным Россвязи — ABC и DEF диапазоны).
Для целей настоящего анализа пропорция между мобильными и стационарными телефонами, заданная в опросах, не имеет значения. Единственное, на что она может влиять,—это наполненность двух групп, т. е. мы располагаем значительно меньшим количеством полных интервью по стационарным, нежели по мобильным телефонам. Однако значительное увеличение объема выборки за счет одновременного рассмотрения результатов 50 опросов снижает проблему статистической достоверности получаемых данных. Все различия между оценками, приводимыми ниже в таблицах, статистически значимы.
Наибольшие отклонения в опросах по мобильным и стационарным телефонам от данных Росстата приходятся на женщин старше 55 лет и на мужчин от 25 до 54 лет (табл. 1).
Таблица 1. Отклонения половозрастной структуры выборки от параметров изучаемой совокупности (по данным Росстата) в опросе по мобильным и стационарным телефонам,
процентные пункты
Способ связи с респондентом Мужчины Женщины
18—24 25—54 55 и старше 18—24 25—54 55 и старше
Стационарные телефоны -3 % -9 % -1 % -2 % 3 % 14 %
Мобильные телефоны 1 % 6 % -4 % 1 % 3 % -7 %
Привычное и отвечающее здравому смыслу суждение о том, что молодежь более доступна по мобильным телефонам, а пожилые люди — по стационарным, значимым образом уточняется. По стационарным телефонам не добираются на 9 процентных пунктов мужчины в возрасте от 25 до 54 лет включительно, на 3 процентных пункта мужчины 18—24 лет и на 2 процентных пункта женщины этого же возраста. И наиболее сильно перепредставлены по стационарным телефонам женщины старше 55 лет включительно — различие составляет 14 процентных пунктов. Бросается в глаза иная картина по мужчинам старшего возраста. Они оказываются недопредставленными как по мобильным, так и по стационарным телефонам. По мобильным телефонам на 6 процентных пунктов больше удается поговорить с мужчинами среднего возраста (25—54 года включительно), и меньше на 4 процентных пункта и на 7 процентных пункта, соответственно, с мужчинами и женщинами старшей возрастной группы.
Для проведения оптимизации по социально-демографическим признакам полезны лишь группы с разнонаправленными отклонениями от данных Росстата: мужчины от 18 до 54 лет и женщины от 18 до 24 и от 55 и старше (табл. 1). Именно по ним можно изменяя соотношение мобильных и стационарных номеров снизить смещения.
Результат оптимизации на общероссийской выборке
Разговаривая с респондентами по мобильным и стационарным телефонам, мы получаем разную половозрастную структуру реализованной выборки. Напрашивается задача оптимизации структуры отклонений выборочных оценок от параметров изучаемой совокупности. Для этого можно запустить алгоритм подбора оптимального соотношения мобильных и стационарных телефонов, который бы позволял определить пропорцию, в которой наблюдаются минимальные отклонения от суммарного половозрастного распределения изучаемой совокупности.
В качестве модели оптимизации рассмотрим среднеквадратичные отклонения и найдем минимальные. Другими словами, идея оптимизации заключается в подборе оптимального соотношения номеров мобильных и стационарных телефонов в выборке для минимизации отклонения суммарного половозрастного распределения от Росстата. Оптимизируется среднеквадратичное отклонение — А, т. е. корень из суммы шести (для каждой половозрастной группы из табл. 1) квадратов разницы доли группы в выборке и ее доли по данным Росстата.
6 1=1
где dstat,—доля /-ой группы в населении 18+ по данным Росстата, ^зип I—Доля /-ой группы в выборке.
Всего 6 половозрастных групп, т. е. / принимает значения: муж 18—24, муж 25—54, муж 55+, жен 18—24, жен 25—54, жен 55+.
Если выборка полностью строится на мобильных телефонах, среднеквадратичное отклонение оценок выборки от параметров изучаемой совокупности составит около 11 п. п. Если выборка полностью строится на стационарных телефонах — 17 п. п. Оптимальное соотношение достигается на 37 % стационарных телефонов в двухосновной выборке, при котором среднеквадратичное отклонение равно 4 п. п. (рис. 1).
Рисунок 1. Зависимость среднеквадратичных отклонений половозрастной структуры от доли стационарных телефонов для общероссийской выборки
Однако уровень телефонизации в различных регионах России сильно различается. Так, в средней полосе среди городского населения может наблюдаться относительно высокий уровень стационарной телефонизации, в то время как в поселениях Северного Кавказа охват стационарной связью как сельского, так и городского населения стремится к нулю. Большинство стационарных номеров в Северокавказских республиках установлено в государственных учреждениях, компаниях и общественных организациях.
Для корректного построения выборки, при наличии необходимых ресурсов, разумно оптимизировать долю стационарных и мобильных номеров по каждому
региону или типу региона (различающихся по уровню стационарной и мобильной телефонизации), выделив ту или иную географическую страту.
Рассмотрим наиболее крупные территориальные образования, выделенные на территории Российской Федерации — федеральные округа. Построенные аналогичным образом «кривые безразличия» указывают на существенные различия среднеквадратичных отклонений половозрастных оценок выборки в зависимости от установленных в каждом округе пропорций между мобильными и стационарными телефонами (рис. 2).
Рисунок 2. Зависимость среднеквадратичных отклонений половозрастной структуры от доли стационарных телефонов для федеральных округов
Минимальные доли стационарных телефонов при оптимизации среднеквадратичных отклонений приходятся на Дальневосточный и Сибирский федеральные округа — 23 % и 28 % соответственно. Максимальные доли обнаруживаются в Приволжском, Северо-Западном и Центральном округах — 42 %, 41 % и 40 % соответственно. Причем в Приволжском федеральном округе оптимальное соотношение мобильных и стационарных телефонов позволяет снизить отклонения от Росстата только до 5,8 % — наихудший результат по всей группе (табл. 2).
Таблица 2. Оптимальная доля стационарных телефонов по Федеральным округам
Федеральные округа Опрошено, человек Оптимальная доля стационарных телефонов Отклонения от Росстата*
Дальневосточный 2346 23 % 4,7 %
Приволжский 10979 42 % 5,8 %
Северо-Западный 5510 41 % 4,6 %
Северо-Кавказский 2367 33 % 4,0 %
Сибирский 7023 28 % 4,4 %
Уральский 4736 32 % 4,2 %
Центральный 13699 40 % 4,2 %
Южный и Крымский 5549 36 % 4,8 %
Россия в целом 52521 37 % 4,5 %
* Здесь и далее цветом выделена величина отклонения: от темно-зеленого, минимального, до темно-красного — максимального для представленного набора величин.
Для удобства контроля времени звонков в спроектированной выборке все телефонные номера отнесены к четырем временным зонам: Восток, Сибирь, Урал и Центр. Отдельно выделен кластер «Столицы», но уже не по критерию иного часового пояса, а по значимым отличиям в особенностях дозвона и разговора с жителями Москвы и Санкт-Петербурга. Оправданность такого выделения легко обнаружить на графике зависимости среднеквадратичных отклонений половозрастной структуры от назначенной доли стационарных телефонов в выборке. Кластер «Столицы» разительно отличается от остальных кластеров как по предельным значениям среднеквадратичных отклонений, если проводится опрос только по одному из видов связи, так и по точке оптимума, в которой минимальны отклонения от Росстата при комбинированной выборке (рис. 3).
При проектировании опроса в Москве и Санкт-Петербурге требуется включение максимального (по сравнению с любыми другими регионами России) числа стационарных телефонов. Их оптимальная доля составляет 48 %, что объясняется чрезвычайно высоким для России уровнем стационарной телефонизации (табл. 3). Соответственно, для кластера «Столицы», в сравнении с другими кластерами, максимальны отклонения от Росстата по половозрастным признакам, если опрос будет проводиться только по мобильным телефонам, и минимальны — если только по стационарным.
Кластер «Столицы» характеризуется еще и высокой результативностью оптимизации по доле стационарных и мобильных телефонов: в точке перегиба наблюдаются минимальные отклонения от суммарных половозрастных данных Росстата — 3,1 % (табл. 3). Максимальное отклонение наблюдается по кластеру «Центр» (5,6 %), в котором сконцентрированы разительно отличающиеся по структуре телефонизации территории. Таким образом, чем точнее будут выделены однородные по уровню телефонизации области, тем поиск оптимального соотно-
шения мобильных и стационарных номеров даст больший эффект в минимизации отклонений от Росстата. Не очевидно, что нам следует ориентироваться на административно-территориальное деление, искусственность и неоднозначность которого не раз подчеркивались юристами и экономическими географами [Андреев, Плучевская, 2005: 185; Зубаревич, 2012: 63; Данилко, 2014: 29; Ильиных, 2015: 45]. Но это наиболее привычная и требуемая для многих заинтересованных сторон территориальная стратификация, поэтому рассмотрим кривые безразличия в региональном разрезе.
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
Рисунок 3. Зависимость среднеквадратичных отклонений половозрастной структуры от доли стационарных телефонов для крупных географических кластеров
Таблица 3. Оптимальная доля стационарных телефонов по географическим кластерам
Географические кластеры Опрошено, человек Оптимальная доля стационарных телефонов Отклонения от Росстата
ВОСТОК 2024 0,25 4,5 %
СИБИРЬ 7345 0,28 4,5 %
СТОЛИЦЫ (Москва, Санкт-Петербург, Мос. обл., Лен.обл) 8913 0,48 3,1 %
УРАЛ 9502 0,37 4,8 %
ЦЕНТР (Центральная часть, включая юг России) 24425 0,36 5,6 %
Россия 52521 0,37 4,5 %
Региональная специфика
Накопленная выборка по всероссийским опросам, превышающая 50 тыс. респондентов, позволяет построить оптимизационные функции для регионов, в которых взято достаточное количество интервью по мобильным и стационарным телефонам. В качестве порога использовалось значение 100 полных интервью по каждому из типов телефонов. Другими словами, рассматривались лишь те регионы, и на стационарные, и на мобильные телефоны которых приходилось более 100 интервью в анализируемом массиве. В результате отобрано 62 из 85 регионов (табл. 4).
Таблица 4. Оптимальная доля стационарных телефонов по 62 регионам Российской Федерации
Код Субъект РФ (со слов респондента) Размер выборки Доля СТАЦ Отклонение половозрастной структуры
3 Республика Башкортостан 1180 37 % 7 %
4 Республика Бурятия 345 48 % 7 %
10 Республика Карелия 301 17 % 7 %
11 Республика Коми 458 46 % 10 %
12 Республика Марий Эл 358 59 % 5 %
13 Республика Мордовия 289 26 % 7 %
15 Республика Северная Осетия-Алания 275 51 % 9 %
16 Республика Татарстан 1278 43 % 7 %
18 Удмуртская Республика 569 39 % 6 %
21 Чувашская Республика 443 69 % 8 %
22 Алтайский край 927 29 % 6 %
23 Краснодарский край 1952 41 % 5 %
24 Красноярский край 1085 28 % 7 %
25 Приморский край 727 36 % 5 %
26 Ставропольский край 1052 38 % 6 %
27 Хабаровский край 539 25 % 4 %
28 Амурская область 322 13 % 8 %
29 Архангельская область 451 31 % 10 %
30 Астраханская область 365 51 % 7 %
31 Белгородская область 542 47 % 5 %
32 Брянская область 522 45 % 8 %
33 Владимирская область 498 14 % 7 %
34 Волгоградская область 1010 27 % 5 %
35 Вологодская область 495 38 % 3 %
Код Субъект РФ (со слов респондента) Размер выборки Доля СТАЦ Отклонение половозрастной структуры
36 Воронежская область 912 30 % 7 %
37 Ивановская область 366 39 % 8 %
38 Иркутская область 869 21 % 4 %
39 Калининградская область 395 29 % 5 %
40 Калужская область 424 36 % 6 %
42 Кемеровская область 984 20 % 3 %
43 Кировская область 591 66 % 7 %
44 Костромская область 300 40 % 9 %
47 Ленинградская область 642 16 % 5 %
48 Липецкая область 410 45 % 6 %
50 Московская область 2825 43 % 3 %
51 Мурманская область 341 29 % 9 %
52 Нижегородская область 1300 37 % 5 %
53 Новгородская область 259 37 % 7 %
54 Новосибирская область 1042 32 % 4 %
55 Омская область 673 38 % 3 %
56 Оренбургская область 943 35 % 6 %
58 Пензенская область 528 55 % 10 %
60 Псковская область 275 36 % 8 %
61 Ростовская область 1731 37 % 4 %
62 Рязанская область 393 46 % 10 %
63 Самарская область 1167 46 % 3 %
64 Саратовская область 926 39 % 4 %
65 Сахалинская область 230 17 % 7 %
66 Свердловская область 1514 25 % 4 %
67 Смоленская область 403 44 % 3 %
68 Тамбовская область 381 31 % 9 %
69 Тверская область 481 31 % 5 %
70 Томская область 472 36 % 8 %
71 Тульская область 557 38 % 8 %
72 Тюменская область 668 29 % 9 %
73 Ульяновская область 500 23 % 6 %
74 Челябинская область 1319 27 % 4 %
Код Субъект РФ (со слов респондента) Размер выборки Доля СТАЦ Отклонение половозрастной структуры
76 Ярославская область 460 35 % 6 %
77 г. Москва 3562 48 % 4 %
78 г. Санкт-Петербург 1884 68 % 2 %
86 Ханты-Мансийский автономный округ-Югра 723 38 % 3 %
90 Пермский край 907 36 % 7 %
Россия в целом 37 % 4 %
Отметим, что часть регионов, в которых было опрошено довольно много респондентов, в таблицу не вошли, поскольку в массиве не набралось 100 интервью, взятых по стационарным домашним телефонам. Эти регионы можно выделить в отдельную группу вследствие слабой развитости стационарной телефонии на их территории, поэтому опрос в этих регионах следует проводить преимущественно по мобильным телефонам, что в наибольшей степени относится к Чеченской Республике и Дагестану, где опрос лучше проводить исключительно по мобильным телефонам (табл. 5).
Таблица 5. Регионы с низким уровнем стационарной телефонизации
Код Субъект РФ (со слов респондента) Размер выборки Стационарный Мобильный Доля мобильных
5 Республика Дагестан 469 21 448 96 %
7 Кабардино-Балкарская Республика 200 61 139 70 %
20 Чеченская Республика 203 2 201 99 %
45 Курганская область 312 89 223 71 %
46 Курская область 387 88 299 77 %
57 Орловская область 276 70 206 75 %
92 Забайкальский край 320 86 234 73 %
По Дальневосточному федеральному округу ранее зафиксирована минимальная (по сравнению с другими федеральными округами) оптимальная доля стационарных телефонов — 23 % (табл. 2). Однако мы видим значительный разброс оптимальных долей среди регионов, входящих в этот округ: в Амурской области — 13 %, Сахалинской — 17 %, Хабаровском крае — 25 % и в Приморском крае — 36 % (табл. 4).
По Приволжскому федеральному округу отмечено максимальное значение оптимальной доли стационарных телефонов, по сравнению с другими округами,— 42 % (табл. 2). Разброс оптимальных долей стационарных телефонов среди разных регионов Приволжского округа максимален. В Ульяновской области опти-
мальная доля стационарных телефонов равна 6 %, в Республике Мордовия — 7 %, в Оренбургской области—35 %, Пермском крае—36 %, Республике Башкортостан и Нижегородской области — 37 %, Удмуртской и Саратовской областях — 39 %, Республике Татарстан — 43 %, Самарской области — 46 %, Пензенской области — 55 %, Республике Марий Эл — 59 %, Кировской области — 66 %, наконец, в Чувашской республике зафиксирована максимальная среди всех регионов оптимальная доля стационарных телефонов — 69 % (табл. 4).
Значительную сложность составляет подбор какой-либо надежной модели, объясняющей различия в долях. Огромный разброс в оптимальных долях стационарных номеров телефонов по разным регионам Российской Федерации не связан напрямую ни с уровнем телефонизации, ни с демографическими характеристиками проживающего населения. Более того, нет зависимости между долей стационарных номеров и отклонением от половозрастной структуры населения, регистрируемой Росстатом. Мы наблюдаем существенные различия в эффективности оптимизационной модели как в регионах с низким оптимальным уровнем доли стационарных номеров, так и с высоким (рис. 4).
г"— 2*
^ -«-Оптимальная доля стационарных в выборке 2%
10%
-•-Среднеквадратичное расхождение при оптимальной доле стационарных
Код региона
0% 0%
Рисунок 4. Оптимальные доли стационарных телефонов и минимально возможные отклонения
половозрастной структуры выборки от данных Росстата, рассчитанные для 62 регионов России
Отклонения половозрастной структуры выборки от данных Росстата, получаемые при оптимизации, напрямую указывают на эффективность оптимизационной модели. Если не удается существенным образом снизить различия между двумя оценками (Росстата и выборочного исследования), потребность в такой оптимизации отпадает.
Введем два критерия, позволяющие вести разговор о качестве модели оптимизации. Первый указывает на эффективность модели: хорошо или плохо удается оптимизировать половозрастную структуру. Не имея в наличии каких-либо
обоснованных суждений, установим волюнтаристски порог в 6 %. Имея среднеквадратичное отклонение выборочного показателя от данных Росстата от 2,4 % до 6 %, будем говорить о хорошем, или эффективном уровне оптимизации; от 6,3 % до 10,5 % — о плохом, или неэффективном. Второй нужен для оценки важности проводимой оптимизации, или для ответа на вопрос, как сильно изменение оптимизируемого параметра влияет на среднеквадратичное отклонение. Для этого возьмем максимум отклонений выборочной совокупности от исследуемой при долях стационарных в выборке (оптимальное —15 %) и (оптимальное + 15 %). Из этого максимума вычтем значение среднеквадратичного отклонения при оптимальном соотношении. Если полученное число будет довольно большим (от 1,2 % до 3,2 %), то это говорит о том, что оптимизировать важно — небольшое изменение доли стационарных телефонов сильно влияет на соответствие половозрастной структуры выборки Росстата. Если полученное число небольшое (от 0,08 % до 1,16 %), то точно оптимизировать долю стационарных телефонов особого смысла нет.
В результате получаем квадрант качества оптимизационной модели (рис. 5), в котором выделяются четыре группы регионов. Во-первых, 23 региона, для которых важность и эффективность проведения оптимизации долей стационарных и мобильных номеров совпадают. По этим регионам модель работает хорошо, и уже сейчас следует пользоваться предложенными пропорциями (табл. 3).
ДА Важно оптимизировать НЕТ
Ульяновская обл. Нижегородская обл. Саратовская обл. Санкт-Петербург Удмуртская республика Ленинградская обл. Челябинская обл. Москва Калужская обл. Московская обл. Омская обл. Свердловская обл. Белгородская обл. Новосибирская обл. Волгоградская обл. Ростовская обл. Волгоградская обл. Алтайский край Самарская обл. Тверская обл. Кемеровская обл. Краснодарский край смоленская обл. Калининградская обл. Республика Марий Эл Ханты-Мансийский автономный округ -Югра Иркутская обл. Оренбургская обл. Ставропольский край Приморский край Хабаровский край
Ивановская обл. Липецкая обл. Республика Татарстан Республика Башкортостан Ярославская обл. Псковская обл. Тамбовская обл. Брянская обл. Тюменская обл. Республика Коми Республика Бурятия Пензенская обл. Астраханская обл. Чувашская республика Сахалинская обл. Рязанская обл. Кировская обл. Владимирская обл. Мурманская обл. Пермский край Тульская обл. Новгородская обл. Республика Мордовия костромская обл. Томская обл. красноярский край Амурская обл. Республика Архангельская обл. Северная Осетия -Воронежская обл. Алания
Рисунок 5. Квадрант качества оптимизационной модели, или типология регионов по отношению к оптимизационной модели подбора доли стационарных телефонов для двухосновной выборки
Во-вторых, по 22 регионам зафиксирована как низкая необходимость, так и малая эффективность проведения оптимизации (рис. 5). Искать оптимальную пропорцию мобильных и стационарных телефонов посредством приближения к данным Росстата по ним не всегда целесообразно. В-третьих, в группе из 9 регионов зафиксирована высокая важность оптимизации, но низкая ее эффективность. Наконец, в-четвертых, в группе из 8 регионов — низкая необходимость в оптимизации при относительно высоком качестве модели.
Ограничения модели
На первый взгляд, модель выглядит красиво и надежно, дает обоснование для подбора доли стационарных и мобильных телефонов в двухосновной выборке. Однако необходимо осознавать заложенные в модели ограничения, влияние которых на полученные данные требует дополнительных методических проверок.
Во-первых, проводилось экспертное деление на половозрастные группы. Такое деление характерно для поквартирных опросов Фонда «Общественное мнение», оно выделяет условную молодежь (18—24), людей старшего (55 лет и старше) и «среднего» возраста (25—54). Это же деление используется в телефонных опросах для перевзвешивания выборки после завершения этапа сбора данных. Здесь выделяются всего 3 возрастные группы, что не позволяет с большой точностью сопоставить данные опроса и данные Росстата, но, с другой стороны, доля каждой группы меньше подвержена случайным колебаниям, поскольку размер выборки в каждой группе довольно большой.
Вместе с тем, наибольшие отклонения могут быть зафиксированы на других, более узких группах. Например, в исследовании факторов поведенческих рисков применялось более детальное деление на возрастные группы, и максимальное расхождение между пользователями стационарных (часть имеют мобильные) и только мобильных телефонных номеров зафиксировано в возрастной группе от 25 до 34 лет [Ни et а1., 2011: 708]. Для определения надежности выявленных зависимостей необходимо провести дополнительные расчеты с разным делением на половозрастные группы.
Во-вторых, большинство анализируемых опросов имеют свою специфику. Средняя длина анкеты 50—60 вопросов (15—25 минут), тематика в основном общественно политическая, анкета омнибусного типа (в одной анкете актуализируется несколько разнородных тем), анкета практически не содержит «сложных» вопросов (табличные вопросы, вопросы с длинными формулировками). Большинство опросов проводилось двумя звонковыми центрами: «Квалитас» из Воронежа и «Контекст» из Томска, где уже несколько лет ведется интенсивная подготовка интервьюеров силами Лаборатории методологии социальных исследований ИнСАП РАНХиГС. Возможно, на опросах другого типа и с другими звонковыми центрами могут быть получены иные распределения.
В-третьих, важно выявить устойчивость оптимизируемого параметра в зависимости от опроса. Ниже представлена гистограмма, на которой изображено распределение количества опросов в зависимости от оптимальной доли стационарных телефонов в них (рис. 6).
Рисунок 6. Распределение опросов по расчетной оптимальной доле стационарных телефонов в выборке
Эта зависимость довольно хорошо аппроксимируется нормальным распределением со средним 37 и стандартным отклонением 6,2. Таким образом, зависимость от опроса наблюдается, но в целом при нормальной аппроксимации для 95 % выборок оптимальная доля стационарных телефонов в выборке лежит в диапазоне от 25 % до 49 %. А для 50 % выборок этот диапазон сужается до 33—41 %.
В-четвертых, анализируемый массив опросов собран за 3 года (март 2013—январь 2016). В связи с массовым отказом от пользования стационарными телефонами за 3 года возможна сильная динамика этого показателя. Поэтому возможно рассмотреть изменение оптимизируемого параметра во времени. Ниже приведен график оптимальной доли стационарных телефонов в зависимости от даты опроса и его линейная аппроксимация (рис. 7).
Рисунок 7. Оптимальная доля стационарных телефонов в зависимости от даты опроса
Можно видеть, что со временем наблюдается некоторое снижение оптимального значения доли стационарных телефонов—линейная аппроксимация показывает
динамику от 42 % весной 2013 г. до 32 % весной 2016 г. Примечательно, что не видны сильные сезонные колебания. Оптимальная доля стационарных телефонов в дачный период (май—сентябрь) составляет 39 %, а в период с октября по апрель—35 %.
Подавляющее большинство моделей двухосновных комбинированных выборок строятся исходя из функции минимизации ошибок покрытия [Arcos et al., 2015]. Для этого определяются разные группы пользователей: имеющие только стационарные телефоны, только мобильные телефоны и имеющие оба вида телефонов, но с которыми мы разговариваем либо по стационарному, либо по мобильному. Исходя из вероятности попадания представителя каждой группы в выборку, выбирается соответствующий дизайн. Например, как упоминалось выше, опрос проводится только по стационарным телефонам, а затем добираются пользователи, имеющие только мобильный телефон. Пропорции этих групп определяются исходя из внешних источников, их релевантность никак не проверяется в рамках моделей.
Мы предлагаем иной подход. Оптимизируя доли мобильных и стационарных телефонов, исходя из приближения к данным всероссийской переписи получаемых половозрастных распределений, учитываются смещения, связанные как с непокрытием, так и с неответами. С одной стороны, присутствуют различия отдельных половозрастных групп по пользованию телефонами, с другой — в зависимости от типа телефонов, люди по-разному ведут себя в отношении незнакомых абонентов, что и суммируется в итоговых различиях (табл. 1). Это позволяет без детального описания типов систематических смещений и трудоемких расчетов определить оптимальные для данного контекста (территории и времени проведения опроса) доли мобильных и стационарных телефонов в выборке.
Кроме оптимизации по половозрастным признакам, представленной в настоящей модели, можно оптимизировать другие параметры, в качестве одного из которых принять распределение абонентов по наличию мобильного или стационарного телефона к параметрам изучаемой совокупности. Последние могут быть взяты из внешних источников, например, личного опроса по месту жительства, в котором задаются вопросы о наличии мобильного и стационарного домашнего телефонов.
Рисунок 8. Расчетное соотношение мобильных и стационарных телефонов
Для оптимизационной модели, построенной на распределении наличия телефонов, наибольшая проблема — необходимость расчета весовых коэффициентов для выравнивания вероятности отбора респондентов, которые напрямую связаны с практиками пользования телефонами. Как упоминалось выше в разделе «объект оптимизации», все данные в настоящем тексте представлены без каких-либо весовых коэффициентов.
В подавляющем большинстве экспериментальных планов, выполненных на комбинированных выборках мобильных и стационарных телефонов, сравниваются группы опрошенных по стационарным (независимо от наличия или отсутствия мобильного телефона) и опрошенных по мобильным только при отсутствии стационарного. Исключение из анализа группы опрошенных по мобильным, но имеющих стационарные телефоны, связано с доминирующим до недавнего времени дизайном опроса только по стационарным телефонам. Исследователи нацелены на выявление риска ошибок покрытия, связанных с группой не имеющих стационарные телефоны. Полученные результаты дают сильные различия по многим социально-демографическим и поведенческим характеристикам [Hu et al., 2011; Vicente, Reis, 2009]. Вместе с тем проведенный анализ показал различия и между двумя большими группами: опрошенных по мобильным и стационарным телефонам, без выяснения наличия альтернативного способа связи. Поэтому мы можем иметь дело не только с ошибками покрытия, но и c ошибками неответов, опосредованными разными практиками пользования мобильными или стационарными телефонами. Например, мужчины могут реже подходить к стационарному телефону и чаще отказывать незнакомцам, а женщины реже разговаривать по незнакомым номерам мобильных операторов. Однако подобные предположения и гипотезы требуют дополнительных проверок и наблюдений.
References
Андреев А. В., Плучевская Э. В. К вопросу о реформировании административно-территориального деления Российской Федерации // Известия Томского политехнического университета. 2005. Т. 308. № 1. С. 184—187. [Andreev A. V., Pluchevskaya E. V. K voprosu o reformirovanii administrativno-territorial'nogo deleniya Rossiiskoi Federatsii [Revisiting the reforms of the administrative and territorial division of the Russian Federation]. Izvestiya Tomskogo politekhnicheskogo universiteta [Bulletin of the Tomsk Polytechnic University]. 2005. Vol. 308. № 1. P. 184—187.]
Андреев Е. М. О точности результатов российских переписей населения и степени доверия к разным источникам информации // Вопросы статистики. 2012. № 11. С. 21—35. [Andreev E. M. On accuracy of Russian population censuses results and level of confidence in different sources of information. Voprosy Statistiki [Statistics Issues]. 2012. № 11. P. 21—35.]
Богоявленский Д. Все ли российские народы верно посчитали? [Электронный ресурс] // Демоскоп Weekly. 2008. 4—17 февраля № 319—320. URL: http:// demoscope.ru/weekly/2008/0319/tema01.php (дата обращения: 18.10.2016). [Bogoyavlenskii D. Vse li rossiiskie narody verno poschitali? [Are all Russian peoples
were correctly counted? Demoskop Weekly. 2008, February 4—17, № 319—320. URL: http://demoscope.ru/weekly/2008/0319/tema01.php (accessed: 18.10.2016).]
Данилко Р. Г. Оценка современных вариантов административно-территориального деления Российской Федерации // Региональная экономика: теория и практика. 2014. № 21. С. 29—37. [Danilko R. G. Otsenka sovremennykh variantov administrativno-territorial'nogo deleniya Rossiiskoi Federatsii [Assessment of the present-day options of administrative and territorial division of the Russian Federation]. Regional'naya ekonomika: teoriya i praktika [Regional Economics: Theory and Practice]. 2G14. № 21. P. 29—37.]
Зубаревич H. В. Современная Россия: география с арифметикой // Отечественные записки. 2012. № 1. С. 55—64. [Zubarevich N. V. Contemporary Russia: Geography and Arithmetic. Otechestvennye zapiski [Notes of the Fatherland]. 2012. № 1. P. 55—64.]
Ильиных А. В. Проблемы целостности территориального устройства Российской Федерации: от федерализма к административно-территориальному делению // Вестник Челябинского государственного университета. 2015. № 4. С. 42— 47. [Ilyinykh A. V. The Problem of Territorial Integrity of the Russian Federation: from Federalism to the Administrative-Territorial Division. Vestnik Chelyabinskogo gosudarstvennogo universiteta [Bulletin of Chelyabinsk State University]. 2015. № 4. P. 42—47.]
Миронова Д. Москве «придумали» русских [Электронный ресурс] // Росбалт. 2011. URL: http://www.rosbalt.ru/moscow/2011/12/21/927080.html (дата обращения: 18.10.2016). [Mironova D. Moskve «pridumali» russkikh [Russians were «invented» for Moscow]. Rosbalt. 2011. URL: http://www.rosbalt.ru/moscow/2011/12/21/927080. html (accessed: 18.10.2016).]
Мкртчян H. Официальный учёт жителей России отражает тенденции, но не позволяет точно судить о составе населения страны [Электронный ресурс] // Forbes. 2011. 19 декабря. URL: http://www.forbes.ru/sobytiya-column/lyudi/77718-perepisnye-istiny (дата обращения: 18.10.2016). [Mkrtchyan N. Ofitsial'nyi uchet zhitelei Rossii otrazhaet tendentsii, no ne pozvolyaet tochno sudit' o sostave naseleniya strany [Official enumeration of Russian inhabitants reflects trends but does not allow assess the population composition]. Forbes. 2011. December 19. URL: http://www.forbes. ru/sobytiya-column/lyudi/77718-perepisnye-istiny (accessed: 18.10.2016).]
Османов Т., Рогозин Д. Особенности реализации общероссийской выборки трудоспособного населения по мобильным телефонам // Телескоп: журнал социологических и маркетинговых исследований. 2013. № 3. C. 33—40. [Osmanov T., Rogozin D. Osobennosti realizatsii obshcherossiiskoi vyborki trudosposobnogo naseleniya po mobil'nym telefonam [Specific features of the design of the nationwide sample of the working population using mobile phones]. Teleskop: zhurnal sotsiologicheskikh i marketingovykh issledovanii [Telescope: A Journal of Sociological and Marketing Research. 2013. № 3. P. 33—40.]
Шевченко Е., Беришвили Н. По переписи в Москве 91 % русских [Электронный ресурс] // Московские новости. 2011. 21 декабря. URL: http://www.mn.ru/moscow/ people/76768 (дата обращения: 18.10.2016). [Shevchenko E., Berishvili N. Po perepisi v Moskve 91 % russkikh [According to census, the share of Russians living in Moscow is 91 %]. Moskovskie novosti. 2011. December 21. URL: http://www.mn.ru/ moscow/people/76768 (accessed: 18.10.2016).]
Щербаков А. Всероссийская перепись населения: вести с полей [Электронный ресурс] / Национальный исследовательский университет Высшая школа экономики: Новости. 2010. 30 ноября. URL: https://www.hse.ru/news/26274561.html (дата обращения: 24.09.2016). [Shcherbakov A. Vserossiiskaya perepis' naseleniya: vesti s polei [Russian census: news from the field]. National Research Institute — Higher School of Economics: News. 2010. November 30. URL: https://www.hse.ru/ news/26274561.html (accessed: 24.09.2016).]
Arcos A., Mar Rueda del M., Trujillo M., Molina D. Review of estimation methods for landline and cell phone surveys. Sociological Methods & Research. 2015. Vol. 44. No. 3. P. 458—485
BlumbergS. J., Luke J. V. Reevaluating the need for concern regarding noncoverage bias in landline surveys. American Journal for Public Health. 2009. Vol. 99. No. 10. P. 1806—1810.
Brick J. M., Dipko S., Presser S., et al. Nonresponse bias in a dual-frame sample of cell and landline numbers. Public Opinion Quarterly. 2006. Vol. 70. No. 5. P. 780—793.
Brick J. M., Brick P. D., Dipko S., et al. Cell phone survey feasibility in the US: Sampling and calling cell numbers versus landline numbers. Public Opinion Quarterly. 2007. Vol. 71. No. 1. P. 23—39.
Díaz de Rada V. Face-to-face versus telephone surveys on political attitudes: A comparative analysis. Quality and Quantity. 2012. Vol. 45. P. 817—827.
Fernández E. A., Díaz de Rada Igúzquiza V., Garcia Lautre I., Landaluce Calvo M. I. Face to face and telephone surveys in terms of sampling representativeness: A multidimensional analysis. Quality and Quantity. 2012. Vol. 46. P. 303—313.
Groves R. M. Theories and methods of telephone surveys. Annual Review of Sociology. 1990. Vol. 16. P. 221—240.
Hu S. S., Balluz L., Battaglia M. P., Frankel M. R. Improving public health surveillance using a dual-frame survey of landline and cell phone numbers. American Journal of Epidemiology. 2011. Vol. 173. No. 6. P. 703—711.
Leeuw de E. Data quality in mail, telephone, and face-to-face surveys. Amsterdam: TT-Publikaties, 1992.
Leeuw de E., Zouwen van der J. Data quality in telephone and face-to-face surveys: A comparative meta analysis. Telephone survey methodology / Ed. by R. M. Groves, P. P. Biemer, L. E. Lyberg, et al. New York: Wiley, 1988. P. 283—300.
Link M., Battaglia M., Frankel M., et al. Reaching the US cell phone generation: Comparison of cell phone survey results with an ongoing landline telephone survey. Public Opinion Quarterly. 2007. Vol. 71. No. 5. P. 814—839.
Lohr S. Recent developments in multiple frame surveys. Proceedings of the American Statistical Association. Survey Research Methods Section. Session 520: Topics on sample survey design and inference in honor of JNK Rao's 70th birthday and 50 years of contributions. 2007. P. 3257—3264.
Vicente P., Reis E. The mobile-only population in Portugal and its impact in a dual frame telephone survey. Survey Research Methodology. 2009. Vol. 3. No. 2. P. 105—111.
