CC BY
45
ПРАКТИКИ ГОВОРЯТ
DOI: 10.14515/monitoring.2017.3.06 Правильная ссылка на статью:
Звоновский В. Б., Соловьёва Ю. В. Адаптация системы конечных кодов AAPOR к российской практике CATI-опросов // Мониторинг общественного мнения : Экономические и социальные перемены. 2017. № 3. С. 59—72. DOI: 10.14515/monitoring.2017.3.06. For citation:
Zvonovski V. B., Solovieva Yu. V. Adaptation of the AAPOR final code system for CATI technique in Russia. Monitoring of Public Opinion: Economic and Social Changes. 2017. № 3. P. 59—72. DOI: 10.14515/monitoring.2017.3.06.
В. Б. Звоновский, ю. В. Соловьёва адаптация системы конечных кодов aapor к российской практике cati-опросов
АДАПТАЦИЯ СИСТЕМЫ КОНЕЧНЫХ КОДОВ AAPOR К РОССИЙСКОЙ ПРАКТИКЕ CATI-ОПРОСОВ
ЗВОНОВСКИЙ Владимир Борисович — доктор социологических наук, заведующий кафедрой социологии и психологии Самарского государственного экономического университета, г. Самара, Россия.
E-MAIL: [email protected] ORCID: 0000-0002-8805-9028
ADAPTATION OF THE AAPOR FINAL CODE SYSTEM FOR CATI TECHNIQUE IN RUSSIA
Vladimir B. ZVONOVSKY1 — Dr. Sci. (So-ciol.), Head of Department E-MAIL: [email protected] ORCID: 0000-0002-8805-9028
СОЛОВЬЁВА Юлия Васильевна — социолог-аналитик, Фонд социальных исследований, г. Самара, Россия. E-MAIL: [email protected] ORCID: 0000-0002-1454-3853
Аннотация. В статье описаны основные проблемы, возникающие при адаптации системы конечных кодов Американской ассоциации исследователей общественного мнения, используемых в практике телефонных
Yulia V. Solovieva2—Social Science Research Analyst
E-MAIL: [email protected] ORCID: 0000-0002-1454-3853
1 Samara State University of Economics, Samara, Russia
2 Social Research Institute, Samara, Russia
Abstract. The paper describes the basic problems regarding the adaptation of the final code system of the American Association of Public Opinion Research used in telephone-based surveys for the Russian environment as well as
опросов в различных странах, в российских условиях и пути их возможного решения. Основными проблемами являются особенности кодирования явных и неявных отказов респондентов, неустойчивость сигналов телефонных компаний, взаимодействие различных технических каналов голосовой связи и программного обеспечения. От решения этих проблем зависит использование значений тех или иных конечных кодов для расчета коэффициентов результативности. Сформулированы рекомендации по организации и проведению текущих и проектируемых телефонных опросов — как по мобильным и стационарным телефонам, так и по их комбинации, представлены также возможные экспериментальные планы.
ways to solve these problems. The basic challenges researchers generally face are coding of implicit and explicit refusals, instable telephone companies' signal, and interaction of different voice communication channels and software. The solution of these problems depends on the values of the final codes needed to calculate coefficient of performance. The authors propose recommendations helping to organize, conduct and combine the current and the scheduled telephone-based surveys via both mobile and landline phones; possible experimental plans are also described in the paper.
Ключевые слова: массовые телефонные опросы,проектирование выборки, теория выборки, параданные
Keywords: telephone-based surveys, sample design, sample theory, paradata
Использование CATI (Computer Assisted Telephone Interview) при проведении телефонных опросов теоретически позволяет собирать значительный объем парадан-ных, необходимый для расчета характеристик достижимости, отказов и кооперации, которые, в свою очередь, должны влиять на расчет характеристик содержательной части исследования: размера аудитории СМИ или активности избирателей, емкости рынка или готовности участвовать в волонтерской деятельности. Программы, управляющие системами CATI, традиционно собирают в автоматическом режиме такие данные, как длительность интервью, число звонков, число состоявшихся интервью у каждого оператора-интервьюера. Часть параданных собирается в полуавтоматическом режиме, т. е. с участием оператора: число отказов, число прерванных интервью. Большое разнообразие как самих фиксируемых характеристик, так и способов их фиксации различными провайдерами телефонных опросов требуют выработки более или менее общих кодов, указывающих на результат интервью и критериев отнесения к каждому из этих кодов.
Для решения этой задачи чаще других прибегают к системе конечных кодов, разработанной Американской Ассоциацией исследователей общественного мнения [AAPOR, 2016]. В целом такой подход кажется верным, поскольку технически телефонная связь в США и РФ организована одинаково и результаты контактов не могут значимо отличаться. Однако в РФ широко распространены запрещенные
в США федеральным законодательством 1 системы автоматического дозвона, или, точнее, роботы предиктивного набора номера (РПН). Эти системы создают некоторую неопределенность при кодировании результатов опросов, что требует адаптации исходных кодировок ДДРОЯ к российским условиям (и, по-видимому, к странам, где использование систем автоматического дозвона не запрещено). Различные РПН систематически генерируют показатель «нет оператора» 2, соответствия которому нет среди кодов ДДРОЯ. Его частота не превышает 1 %, но поскольку доля состоявшихся интервью колеблется между 3 % и 5 %, было бы неправильно его не учитывать.
Система кодов ДДРОЯ делится на четыре части (табл. 1). Первую часть составляют коды, соответствующие результатам состоявшихся интервью (полных и незаконченных), вторую — результаты контактов, где интервью не состоялось по всему набору возможных причин, но в любом случае позволяющие однозначно идентифицировать наличие подходящего респондента на другом конце провода. Третью группу составляют коды, отражающие результат и несостоявшегося интервью, и несостоявшегося контакта. Здесь мы не только не можем сказать, подходит ли нам респондент, но и существует ли он вообще, не выключен ли этот номер, это офисный телефон или домашний, живет ли там кто-либо и пр. И, наконец, в четвертую группу входят номера, по которым контакт состоялся, но респонденты по ним в выборку не входят (квота закрыта, другая территория, нежилые помещения, номера, которые используются для передачи данных—факсы, планшеты и пр.).
Таблица 1. Разделы конечных кодов и их ключевые значения 3
1 2 3 4
Респонденты соответствовали критериям отбора, и интервью у них взяты Респонденты соответствовали критериям отбора, но интервью у них не взяты (ответы на вопросы интервью не получены) Не удалось установить соответствие респондентов критериям (контакт не состоялся); Респонденты не соответствовали критериям отбора
Полные и неполные интервью отказы и прерванные интервью; опосредованные контакты (в том числе автоответчики, респондент постоянно недоступен); другие проблемы (в том числе языковые, технические). неизвестно, принадлежит ли номер домохозяйству (занято, номер не отвечает и пр.); домохозяйство принадлежит целевой группе, но неизвестно, принадлежит ли к ней респондент; неизвестно, принадлежит ли респондент этому домохозяйству. нежилые помещения; линии передачи данных; неработающие и отключенные номера; переадресация вызова.
1 Все формы автоматического набора телефонных мобильных номеров, включая звонки в научных целях, запрещены в соответствии с федеральным законом 1991 г., см.: Restrictions on use of telephone equipment: U. S. Code. Title 47. Chapter 5. Subchapter II. Part I. § 227. URL: http://www.fcc.gov/cgb/policy/telemarketing.html или http://www.law. cornell.edu/uscode/47/227.html.
2 Этот код возникает, когда РПН направил посылку вызова абонента, абонент сигнал принял и поднял трубку, а в звонковом центре в данный момент не оказалось готового начать интервью оператора.
3 Полный список значений приведен в [AAPOR, 2016: 75].
На основе собранных параданных рассчитывают коэффициенты результативности, то есть количественные показатели контактов, отказов и другие характеристики, позволяющие сравнивать показатели опросов, проведенных в разное время, в разных условиях (например, в разных странах), по разным технологиям (по месту жительства и по телефону) и разными исполнителями (см, например, [Османов, 2014а; Са!^аго et а1., 2011]).
Так, мы можем вычислить коэффициент ответов, отражающий долю проведенных интервью с запланированными в выборке респондентами:
= I / (I + Р) + (я + ис+о) + (ин + ио),
где I — полностью завершенные интервью (код 1.1);
Р — частично завершенные интервью (код 1.2);
Я — отказ или прерывание (код 2.10);
ИС — не установлен контакт (2.20);
О—другое (2.30);
ин — неизвестно, домохозяйство, или, например, рабочее место (3.10);
ио — неизвестное другое (3.20, 3.30, 3.40, 3.90).
Система кодов ААРОЯ позволяет оцифровать практически любой результат телефонного интервью. Это дает возможность сравнивать эффективность полевой работы в различных опросных центрах и ее изменение. Однако в ряде случаев кодирование результата конкретного интервью представляет собой проблему, создавая неоднозначность. Например, после первой же фразы-представления оператора респондент бросает трубку, не сказав ни слова (или оператор не расслышал). Это очень распространенная ситуация. Можем ли мы в этом случае зафиксировать отказ (код 2.10)? Или это результат языковой проблемы (2.332)? Или он просто не расслышал, что сказал оператор (код 3.16)? Или мы попали в казарму или тюрьму (код 4.52)? Вообще, насколько правомерно утверждать, что прерванный контакт является именно отказом респондента, а не результатом технических проблем или решением оператора-интервьюера?
Тимур Османов при анализе параданных так называемого крымского опроса приводит коды дозвона десяти звонковых центров, работавших в проекте. Доля отказов от интервью составила в целом 31 % от числа состоявшихся вербальных контактов и еще 2 % — прерванных интервью. При этом сама доля отказов и прерванных интервью существенно колеблется от 26 % до 43 %. Еще сильнее колеблется коэффициент отказов ЯБР2 — от 5,4 % до 23,9 %. Автор считает причиной такого разброса показателей не только различия в «технической оснастке звонковых центров и качестве работы провайдера связи», но и «практики работы интервьюеров и их навыки склонить респондентов к участию в интервью». Представляется, что к этому списку факторов необходимо добавить и вариацию в определение «отказа». Часто «отказом» кодируются случаи, хотя и близкие к этому понятию, но в целях дальнейшего использования для анализа параданных нуждающиеся в ином оформлении.
В ходе опроса жителей Самары в декабре 2016 г. на 990 законченных интервью пришлось 15102 случая отказов разного рода — от вербальных (респондент четко заявил о своем нежелании, по крайней мере, в данный момент, участво-
вать в опросе) до случаев, когда интервью прервал оператор по причине плохой слышимости, или, как ему показалось, непонимания респондентом русской речи. Используя формулы ДДРОЯ для коэффициента отказов, мы получим значение 18,8 %, что практически не отличается от полученного в телефонных опросах ФОМ и ВЦИОМ [Османов, 2014а]. (Несколько повышенную долю отказов, вероятно, можно объяснить тем, что, в отличие от всероссийских опросов, в Самаре генеральной совокупностью были жители города от 25 до 55 лет.)
Вербально зафиксированный отказ был получен лишь от 12687 потенциальных респондентов (разумеется, мы в данном случае не можем сказать, подходят ли эти люди выборочным критериям). Примерно каждый десятый (10 %) «бросил трубку», не удостоив интервьюера какого-либо ответа, то есть это случаи, когда, с одной стороны, трубка была поднята и на другом конце провода можно было различить человеческий голос, а с другой — интервью так и не началось 4. Можно предположить, что среди этой подвыборки контактов были и те, кто не смог говорить по-русски, и те, кто плохо слышал голос оператора-интервьюера. При этом в 912 случаях (6 %) оператор не мог разобрать слова респондента или по причине плохой слышимости, или по причине непонимания языка последнего. И если в этих 6 % случаев проблему—слышимости или языка — зафиксировал оператор, можно предположить, что примерно в такой же пропорции эти проблемы возникли у респондента и он прекратил контакт.
Если теперь мы отнесем к отказам (код 2.10) лишь вербально артикулированные отказы, то искомый коэффициент отказов уменьшится до 15,8 %. В ходе полевых работ, и особенно при подготовке к ним, кодировка результатов операторами должна быть более детальной, а сами операторы-интервьюеры должны быть проинструктированы на этот счет. Вероятно, для более полного соответствия используемых в российской практике кодов кодам ДДРОЯ необходимо более точно фиксировать результаты контактов. В частности, под «отказом» следует понимать исключительно вербально оформленный отказ респондента отвечать на вопросы интервьюера в данный момент.
Сигнал «занято» может генерироваться не на отдельный номер, а, например, на целое направление номеров, населенный пункт или группу населенных пунктов, связанных с остальным номерным пространством небольшим (узким) каналом связи, который не пропускает через себя большое число вызовов. Другими словами, занятым в этом случае оказывается не номер, а канал доступа к нему. Причем если со стационарными телефонами таким образом «выпадают» определенные территории, то с мобильным «выпадение» иногда происходит с абонентами определенных компаний.
Неоднозначности иного рода возникают, когда контакт с респондентом, хотя бы потенциальным, не состоялся (коды раздела 3): телефон либо постоянно занят, либо никто не берет трубку, либо мы сталкиваемся с какими-то проблемами технического свойства на линии. Напомним, что системы предварительного набора
4 Чаще всего это было что-то похожее на человеческий голос, затем оператор-интервьюер зачитывал приветствие, после (или в ходе) чего была брошена трубка. Скорее всего, это был человек, а не какой-то технический сбой в коммуникационных сетях, который иногда сопровождается либо сгенерированным, либо записанным человеческим голосом, но относится ли этот человек к целевой группе, понимает ли русский язык и распознает (слышит) ли нашего интервьюера, утверждать нельзя.
номера запрещены в телефонных сетях США и подобная проблема там вообще не существует, поэтому результат контакта там устанавливается «на слух» оператора-интервьюера. В зависимости от результата попытки соединения телефонная станция формирует ответный сигнал, который должен распознать оператор-интервьюер. Телефонные компании довольно разнообразно формируют текстовые сообщения. Иногда их можно сгруппировать в зависимости от произносимого текста, но здесь существуют две проблемы. Во-первых, текст может изменяться со временем и варьироваться в зависимости от территории. Во-вторых, из этого текста часто бывает сложно сделать вывод о технической доступности того или иного номера выборочной совокупности.
На рисунке 1 приведены тексты, генерируемые провайдерами сотовой связи. Вариант «Номер, который Вы набрали, не существует. Пожалуйста, проверьте номер и попробуйте набрать его снова» не содержит указания на длительность такого «несуществования», в то время как «Данный номер недоступен для звонков в настоящее время» вроде бы содержит такое указание, но совершенно не ясно, есть ли различие этого самого «настоящего времени» между этими случаями. Следует ли обоим этим сообщениям придать код «отключенный номер» (код 4.32), или код «технические проблемы связи» (код 3.16).
Таблица 2. Текстовые сообщения различных компаний сотовой связи в США [AAPOR, 2010]
Examples of Ambiguous Cell Phone Operator Messages. (Примеры неоднозначных сообщений операторов сотовой связи)
This phone's voice mail has not been set up yet. (Голосовая почта телефона ещё не настроена)
The number or code you dialed is incorrect. Please check the number or code and try again. (Номер или код, который Вы набрали, не существует. Пожалуйста, проверьте номер или код и попробуйте набрать его снова)
The cellular phone you have called is turned off or out of the service area; please try your call again. (Сотовый телефон, до которого Вы дозваниваетесь, выключен или находится вне зоны действия сети, пожалуйста, попробуйте позвонить ещё раз)
This number is not accepting calls at this time.
(Данный номер недоступен для звонков в настоящее время)
Press 0 to speak with an operator. (Нажмите 0 для разговора с оператором)
Please enter the extension of the party you are trying to reach. (Пожалуйста, введите добавочный номер запрашиваемого абонента)
В тех странах, где нет запрета на использование систем предварительного до-звона (Predictive Dialer или Autodialer), программа такого дайлера (робота предик-
тивного набора) распознает ответы телефонных станций на стороне респондента: подключен ли данный номер к сети, занят он или свободен, поднята трубка или нет,—и переключает ответившего абонента на свободного оператора.
Казалось бы, машина должна лучше понимать машину (а программа — программу), но реальность оказывается сложнее. Робот предиктивного набора анализирует сигналы из телефонных линий, узловых станций и серверов, использующих различные стандарты обмена данных. Например, телефонная станция респондента отправляет текст: «абонент в настоящее время недоступен, позвоните позднее» (код 4.33 — временно отключенный номер), нередко сопровождая его отправкой сигнала, который воспринимается компьютером как «занято» (код 3.12 — номер занят) 5. Такое изменение финального кода меняет и значение коэффициентов. Если коммутация телефонных линий будет произведена другим способом или в другое время, она даст иной результат.
Директор компании «Системы информации и связи», производителя софта для опросных звонковых центров «Survey-Studio» Максим Акульшин на странице в Фейсбуке так описывает эту проблему: «К примеру, Вы подключаетесь к своему оператору услуг связи, скажем, с использованием протокола SIP. Тот выводит Ваш номер на магистрального провайдера, используя E 1. Провайдер приземляет вызов на декадно-шаговую АТС села Вашего респондента. Допустим, респондент спит, но перед сном он плохо повесил трубку аппарата. АТС возвращает магистральному провайдеру короткие прерывистые гудки. Что такое гудки? Почему они именно такой длительности и что означают? Респондент занят? Говорит по телефону? Телефон не рабочий? Допустим, магистральный провайдер знает эти гудки. Он знает, что трубка лежит криво, но в стандарте Е1 нет такого статуса. Он отправляет максимально похожее описание ситуации Вашему оператору, поставив «временные технические трудности». Ваш оператор пытается интерпретировать это сообщение, но оно не лезет в стандарт SIP и тогда оборудование решает, что максимально похожим будет ошибка «403, Empty Route Set». Вы получаете эту ошибку на телефон. Но Ваш телефон работает только с кодами ошибок, не вдаваясь в детали. 403-я? Это значит «пользователь не существует»! Но он существует. Он просто недостаточно аккуратен, чтобы мы могли в это поверить» 6.
Иначе говоря, с технической точки зрения ответы телефонной сети не являются устойчивыми, их необходимо верифицировать. «Не верьте ни одному статусу на 100 %. Если Вам вернулось «абонент не существует» — это не обязательно значит, что номера такого вообще нет. Это может быть просто временным сбоем на маршруте или проблемами стыковки разных сетей... И наоборот — если Вы получили «номер занят», и продолжаете получать это сообщение уже третий месяц, то, скорее всего, такого номера просто нет. Или он заблокирован» 7. Собственно,
5 Возможно, причина такой неаккуратности в использовании различных программных кодов российскими операторами телефонной связи кроется в том, что в РФ клиент оплачивает только исходящие звонки. Если соединение не состоялось по любой причине, у оператора нет никакого стимула его учитывать, все усилия направлены на биллинг состоявшихся соединений.
6 Акульшин М. О телефонных статусах [Электронный ресурс] // Facebook. URL: https://www.facebook.com/siisltd.ru/ posts/823013891171857:0 (дата посещения: 20.06.2017).
7 Там же.
того же мнения придерживается ААРОЯ: «Поскольку эти (коды раздела 3, в частности — 3.16 и 3.161) проблемы, как правило, относятся к временным (а не к конечным.— Прим. авт.), рекомендуется в течение полевого периода перезвонить по таким номерам. В каждом из указанных случаев недостаточно информации для того, чтобы рассматривать отобранные номера в качестве представляющих резидентные домохозяйства» [ААРОЯ, 2016].
Приблизительную количественную оценку возможных изменений статуса до-звона при повторных звонках без использования а^о^а!ег дал Тимур Османов. Он обобщил результаты повторного обращения 8 по примерно 45 000 телефонным номерам, сделанного через несколько месяцев после первого обращения [Османов, 2014Ь].
В повторном обращении было использовано 34139 мобильных номеров, причём из них 12277 номеров первоначально были интерпретированы как «неверные». При повторном обращении в 246 номеров из этой группы состоялось интервью (0,7 % от числа использованных при повторном дозвоне). Стационарных номеров, задействованных при повторном обращении, было 9984, причём 2850 номеров первоначально были промаркированы как «неверные», и среди последних интервью состоялось в 57 случаях (0,6 % от числа всех стационарных номеров, использованных при повторном дозвоне) Как видим, доля не просто достигнутых номеров, а номеров, по которым были взяты интервью, увеличилась на 1,3 %, а доля «неверных номеров» сократилась. Также сократилась доля номеров с конечным кодом «нет ответа» и «ошибка при дозвоне», за счёт чего доля состоявшихся интервью также выросла. Всего доля номеров, по которым интервью было взято, возросла на 6,8 %.
Обычно признанные «невалидными» (не существуют, нет ответа станции и пр.) номера изымаются из базы, предназначенной для второго и последующего звонков. Полученный Т. Османовым результат показывает, что сохранение номера в базе может значимо увеличить достижимость. Поскольку повторное обращение в том эксперименте было проведено через несколько месяцев после первого, мы не знаем, можно ли было достичь такого результата через несколько дней или недель после первого обращения. Тем не менее в ходе длительного периода полевых работ (вне зависимости от абсолютного значения этой длительности) необходимо повторно прозвонить «неверные номера» 9. Вероятно, более продуктивно будет провести повторную волну прозвона с сервера, локализованного в другом месте (регионе), и, желательно, с использованием услуг другого телефонного провайдера.
Разумеется, респондент может за время между нашими обращениями к нему включать и выключать, блокировать и разблокировать свои номера. Он также может менять один номер на другой, не отключаясь ни от одного из них. Поэтому стоит установить примерное время, в течение которого респондент пользуется данным номером. В состав инструментария традиционно входят вопросы о числе используемых респондентом телефонных номеров и количестве пользователей
8 Под обращением здесь понимается совокупность звонков (от 3 до 10) в первую волну. Между двумя волнами прошло несколько месяцев. Подробнее см. [Османов, 2014Ь].
9 На сленге звонковых центров это называется переподвешиванием баз номеров.
у номера телефона. Представляется полезным, хотя бы в качестве разового или периодического измерения, уточнить время валидности данного номера, чтобы узнать вероятность попадания данного респондента в выборку.
Нам не хватает информации и в целом ряде других случаев. Например, если сим-карта сотового оператора связи установлена в планшет и используется только для передачи данных, то вызов на нее, скорее всего, будет проинтерпретирован как «нет ответа». Иначе говоря, будут смешаны коды 3.13 и 4.20. Сюда же следует отнести звонки на номера, служащие исключительно для связи «машина — машина» (М2М), установленной, среди прочего, в банкоматах. Вызов на них также сформирует сигнал «нет ответа» 10.
По данным экспертов рынка мобильных устройств доступа в Интернет, в 2015 году из всего объема электронных устройств коммуникации было продано 12,5 % планшетов, т. е. устройств, не имеющих голосовой связи 11. Вероятно, какое-то число устройств без голосовой связи подключено к телефонным сетям, прежде всего, мобильным. Оценим, признаемся, очень произвольно, долю неголосовых устройств в 25 % от общего числа включенных в сети абонентов, т. е. 25 % конечных устройств являются планшетами или иными устройствами, не подразумевающими голосовую коммуникацию вообще, и не могут дать ответа ни при каких условиях (код 4.20). Предположим также, что 50 % номеров, по которым получен сигнал «занято», в реальности временно выключены, т. е. должны быть кодированы как 4.30.
Тогда значение коэффициента ответов (ЯЯ 3) 4,3 % изменится на 5,5 %. Изменение количественно небольшое, но мы применили оценочные коэффициенты очень осторожно. Другие авторы, специализирующиеся на изучении опросной методологии, делают куда более радикальные допущения и оценки, существенно меняющие коэффициенты результативности проведенных опросов.
Так, группа социологов, в число которых входил один из авторов руководства ААРОЯ по стандартным определениям и расчету коэффициентов результативности Марио Каллегаро, представили методический отчет своего САТ1-опроса жителей Германии [Са!^аго et а1., 2011]. На основе данных, приведенных в табл. 3, они получили ЯЯ 3 для опроса по стационарным телефонам, равный 24,7 %. Это значит, что все случаи отсутствия контакта с респондентом, включая «нет ответа», внесены в раздел 4, т. е. закодированы как не входящие в выборку. Такой вариант расчета представляется компромиссом между нечеткостью сигналов ответных посылок вызова, и, соответственно, значений кодов ААРОЯ и использованием случайной генерации телефонных номеров, охватывающей в том числе и возможные, но реально не используемые комбинации цифр в номерах.
10 Сюда же, вероятно, следует отнести и многочисленные звонковые центры с сотнями и тысячами рабочих мест. Сами они чаще всего не занимают номерное пространство, но вот провайдеры, которые обеспечивают их телефонной связью, должны занимать соизмеримое номерное пространство с запасом номеров. Входящие звонки на них, вероятно, заблокированы, если это не специально выделенные номера для связи, типа «прямой линии с губернатором» или каналы типа 8—800.
11 Кодачигов В. (2016) Продажи фаблетов в России впервые превысили продажи планшетов // Ведомости. 2016. 16 февраля. URL: http://www.vedomosti.ru/technology/articles/2016/02/20/630887-prodazhi-fabletov (дата обращения: 15.01.2017).
Таблица 3. Значения конечных кодов по результатам CATI-опроса в Германии 2007 г.
[Callegaro et al., 2011]
Стационарные телефоны Мобильные телефоны
Не входят в выборку
Факсы 667 63
Неработающие номера (компьютерный голос) 7947 13 585
Неработающие номера (нет ответа, контакта) 2405 1710
Не домохозяйства 704 156
Другое 145 324
Неизвестно, входит ли в выборку, интервью не взято
Автоответчик, неясно, входит ли в выборку (UH) 1135 5150
Входит в выборку, интервью не взято
ВСЕГО 3811 3057
Отказы (Я) 2327 1696
Прерванное интервью (Я) 17 53
Физическая или ментальная невозможность взять интервью (О) 14 17
Другие (О) 377 83
Входит в выборку, интервью взято
Полное интервью (I) 1009 1162
Неполное интервью (Р) 67 46
ВСЕГО в стартовой выборочной совокупности 16 814 24 045
Российские исследователи редко публикуют расчет коэффициентов результативности. Так, Ольга Караева приводит значение ЯЯ 3, равный 2 %, и снабжает свой расчет некоторыми параданными, на основе которых он производился [Караева, 2015]. Очевидно, что различие между 25 % и 2 % очень большое и его невозможно объяснить ни разницей в десять лет между исследованиями, ни различиями между Германией и Россией. К сожалению, автор не привела целый ряд значений финальных кодов, включая число попыток контактов, поэтому мы по умолчанию приняли его за единицу. Мы пересчитали коэффициент ЯЯ 3 в исследовании Караевой, получив значение 4,3 %, что также значительно отличается от результата Каллегаро.
Таблица 4. Значения конечных кодов по результатам САТ1-опросов в Германии [Са11еМаго et а!., 2011] и в Москве [Караева, 2015]
Германия, 2007 Москва, 2016
Не входят в выборку
Факсы 730
Неработающие номера (компьютерный голос) 21 532 3643
Неработающие номера (нет ответа, контакта) 4115 23 093
Не домохозяйства 860
Другое 469
Не входят в выборку 7382
Неизвестно, входит ли в выборку, интервью не взято
Автоответчик, неясно, входит ли в выборку (ин) 6285
Входит в выборку, интервью не взято
ВСЕГО 6868
Отказы (Я) 4023 11 651
Прерванное интервью (Я) 70 411
Физическая или ментальная невозможность взять интервью (О) 31
Другие (О) 460
Входит в выборку, интервью взято
Полное интервью (I) 2171 500
Неполное интервью (Р) 113
ВСЕГО в стартовой выборочной совокупности 40 859 48 402
Число попыток контакта 15 1
Коэффициент ЯЯ 3, % 26,7 4,3
Существенно более низкий коэффициент ответов, вероятно, связан с неясными инструкциями относительно кодирования отказов, а также тем, что в число отказов явно попали и жители Подмосковья, у которых телефонные префиксы совпадают с московскими, но «отказ» фиксируется в ходе интервью раньше, чем место проживания. Как показывает опыт опросов с большим числом попыток (шестью и более), финальная выборка может увеличиться вдвое или при том же ее объеме несколько уменьшится число «неработающих номеров».
Рекомендации по усовершенствованию сбора первичных данных в CATI-опросах
1. Проведенный анализ практики СДТ1-опросов в российских условиях (с учетом технических возможностей и особенностями администрирования телефонных сетей и компаний) позволил нам прийти к следующим выводам.
2. В настоящее время операторы-интервьюеры кодируют как «отказ» в том числе случаи прерывания контакта, когда они от респондента не получают никакого сообщения, т. е. уверенности в том, что респондент слышит (распознает) речь оператора и / или понимает ее, нет никакой. Необходимо более ясно определить отказ респондента от участия в опросе как вербально заявленный, отделить от него случаи, когда респондент отказывается в силу плохого качества соединения из-за незнания языка, на котором ведется опрос. Звонковые центры должны использовать специальные коды для таких диспозиций и, соответственно, инструктировать своих операторов-интервьюеров на этот счет.
3. Инструкции для операторов должны содержать аудиопримеры тех или иных ситуаций и указания, как именно их кодировать. Данную библиотеку примеров необходимо постоянно обновлять. Конкретные примеры полезны для операторов, которые имеют мало опыта работы с отказами, недостижимостью респондентов и кодированием этих случаев.
4. Сигналы, информирующие звонковые центры о различных статусах номеров потенциальных респондентов («занято», «нет ответа», «номер не существует» и др.), формируются самостоятельными и независимыми друг от друга поставщиками коммуникационных услуг. При передаче исходящего от номера респондента ответного сигнала от одного провайдера к другому происходят искажения, меняющие статус этого номера. Насколько эти изменения значимы количественно, сказать сложно, но на расчет коэффициентов результативности они влияют. Звонковым центрам следует быть более требовательными к поставщикам как услуг телефонии, так и профессионального программного обеспечения, добиваясь более ясных и устойчивых сообщений (кодов) различных статусов номеров потенциальных респондентов.
5. Очевидно, что статус номера меняется во времени. ДДРОЯ прямо рекомендует сделать несколько попыток контакта по всем номерам выборочной совокупности, по которым были выставлены коды раздела 3 (осталось неизвестным, есть ли по данному номеру домохозяйство, и интервью не проведено). Все номера, получившие в ходе первой попытки контакта коды раздела 3, следует вернуть в выборку и спустя некоторое время (как минимум несколько часов) повторить попытку. Учитывая вариативность технических каналов, по которым проходит сигнал посылки вызова, используемых различными звонковыми центрами, было бы полезным изменять локализацию исходящих звонков и провайдера телефонии. Также представляется перспективным, хотя бы в качестве эксперимента, реализовать повторные звонки тем респондентам, кто первоначально отказался от участия в опросе. В любом случае мы должны стремиться в период полевых работ использовать наименьший объем стартовой выборки, чтобы достичь финального объема.
6. Группа кодов, обозначенных AAPOR как «недостаточно информации для того, чтобы рассматривать отобранные номера в качестве представляющих резидентные домохозяйства» используется в основном для обозначения неясных результатов контакта—таких как автоответчик (Telephone answering device, Voice mails), не дающий однозначного ответа, используется ли этот телефон для личных звонков или нет» (Callegaro et al., 2011). Те же попытки контакта, по которым не получено вовсе никакого ответа, выводятся в раздел 4, поскольку выборка номеров у нас сгенерирована, а никаких свидетельств в пользу того, что данные номера включены и работают, у нас нет.
7. Важной представляется информация о коммутирующем поведении респондента. Он может не только пользоваться несколькими включенными в момент опроса мобильными телефонами, но и включать / выключать их в период между опросами. Было бы методически важным узнать, какая часть респондентов производит такую манипуляцию, модифицируя для нас вероятность дозвониться до них.
8. Следует регулярно собирать и получать сведения (данные) о доле номеров среди операторов мобильной связи, по которым осуществляется только передача данных (есть только интернет-трафик). Особенно было бы полезным, если бы операторы могли предоставить конкретные диапазоны, задействованные исключительно под передачу данных и выведенные таким образом из номерного пространства, где возможна голосовая связь.
9. Следует регулярно верифицировать работу систем предварительного до-звона ручным набором номеров. В том числе по номерам, где был получен отказ или было проведено интервью для выявления устойчивости статуса звонка (отказ, интервью и пр.), устойчивости социально-демографических характеристик (например, верно ли операторы кодируют пол респондента), а также устойчивости измеряемых признаков.
Список литературы (References)
Караева О. «Поиски лучшей репрезентации»: сравнение телефонных и квартирных опросных методик в социально-политических исследованиях. Методический эксперимент // Вестник общественного мнения : Данные. Анализ. Дискуссии. 2015. № 1 (119). С. 116—129. [Karaeva O. (2015) «Searching for better representation»: comparing telephone-based and household methods in social and political studies. The Russian Public Opinion Gerald. Data. Analysis. Discussions. No 1 (119). P. 116— 129. (In Russ.)]
Османов Т. Э. Особенности построения выборки в опросе о Крыме // Мониторинг общественного мнения : Экономические и социальные перемены. 2014a. № 2. С. 40—52. [Osmanov T. E. (2014(a)) Specific features of sample design in a survey about Crimea. Monitoring of Public Opinion: Economic and Social changes. No 2. P. 40—52. (In Russ.)]
Османов Т. Репрезентативность телефонных опросов : презентация выступления на конференции «Продолжая Грушина», февраль 2014 г. [Электронный ресурс] // ВЦИОМ. 2014b. URL: http://wciom.ru/fileadmin/file/nauka/grusha2014/
s3/Osmanov.pdf (дата обращения: 15.01.2017). [Osmanov T. (2014(b)) Representativeness of telephone-based surveys: «Continuing Grushin» Conference PowerPoint report. Available at: [http://wciom.ru/fileadmin/file/nauka/grusha2014/ s3/Osmanov.pdf (accessed: 15.01.2017.) (In Russ.)]
AAPOR. (2010) New Considerations for Survey Researchers. When Planning and Conducting RDD Telephone Surveys in the U. S. With Respondents Reached via Cell Phone Numbers AAPOR Cell Phone Task Force, 2010. URL: https://www.aapor.org/ AAP0R_Main/media/MainSiteFiles/2010AAP0RCellPhoneTFReport.pdf (accessed 15.01.2017).
AAPOR. (2016) Standard Definitions: Final Dispositions of Case Codes and Outcome Rates for Surveys. 9th edition. URL: http://www.aapor.org/AAPOR_Main/media/ publications/Standard-Definitions20169theditionfinal.pdf (accessed 15.01.2017).
Callegaro M. et al. (2011) Combining landline and mobile phone samples: A dual frame approach. GESIS-WorkingPapers. No. 13. Mannheim: GESIS — Leibniz-Institut für Sozialwissenschaften. URL: http://www.gesis.org/fileadmin/upload/forschung/ publikationen/gesis_reihen/gesis_arbeitsberichte/WorkingPapers_2011_13.pdf (accessed 15.01.2017).
