CC BY
55
МЕТОДЫ И МЕТОДОЛОГИЯ
DOI: 10.14515/monitoring.2019.4.03 Правильная ссылка на статью:
Лебедев Д. В., Богданов М. Б. Переход с PAPI на CAPI: опыт интервьюеров и характеристики, влияющие на их ожидания //Мониторинг общественного мнения:Экономические и социальные перемены. 2019. № 4. С. 43—67. https://doi.org/10.14515/monitoring.2019.4.03. For citation:
Lebedev D. V., Bogdanov M. B. (2019) Transition from PAPI to CAPI: interviewers' experience and factors influencing their expectations. Monitoring of Public Opinion-.Economic and Social Changes. No. 4. P. 43—67. https://doi.org/10.14515/monitoring.2019.4.03.
Д. В. Лебедев, М. Б. Богданов ПЕРЕХОД С PAPI НА CAPI: ОПЫТ ИНТЕРВЬюЕРОВ И ХАРАКТЕРИСТИКИ, ВЛИЯюЩИЕ НА ИХ ОЖИДАНИЯ
ПЕРЕХОД С PAPI НА CAPI: ОПЫТ ИНТЕРВЬЮЕРОВ И ХАРАКТЕРИСТИКИ, ВЛИЯЮЩИЕ НА ИХ ОЖИДАНИЯ
TRANSITION FROM PAPI TO CAPI: INTERVIEWERS' EXPERIENCE AND FACTORS INFLUENCING THEIR EXPECTATIONS
ЛЕБЕДЕВ Даниил Вадимович — младший научный сотрудник, Институт социального анализа и прогнозирования, Российская академия народного хозяйства и государственной службы при Президенте РФ, Москва, Россия; аспирант, Национальный исследовательский университет «Высшая школа экономики», Москва, Россия E-MAIL: zenon-daniil@yandex.ru https://orcid.org/0000-0001-7246-8022
Daniil V. LEBEDEV12 — Junior Research Fellow, Institute for Social Analysis and Forecasting; post-graduate student E-MAIL: zenon-daniil@yandex.ru https://orcid.org/0000-0001-7246-8022
1 The Russian Presidential Academy of National Economy and Public Administration (RANEPA), Moscow, Russia
2 National Research University Higher School of Economics, Moscow, Russia
БОГДАНОВ Михаил Богданович — аналитик, лаборатория культурсоциологии и антропологии образования, Национальный исследовательский университет «Высшая школа экономики», Москва, Россия
E-MAIL: bogdanovmikle@mail.ru https://orcid.org/0000-0001-6245-7178
Аннотация. В работе представлен анализ оценки интервьюерами и су-первайзерами пробного этапа перевода опроса, проводимого в рамках проекта «Российский мониторинг экономического положения и здоровья населения НИУ ВШЭ» (РМЭЗ-ВШЭ), с методики бумажной анкеты (Pen and Pencil Interview — PAPI) на методику с использованием планшета (Computer Assisted Personal Interview — CAPI). В качестве данных для анализа послужил материал 13 интервью с полевыми интервьюерами и трех интервью с супервайзерами, а также анкетирование 50 интервьюеров.
Основными преимуществами CAPI являются: значительное снижение стоимости проведения полевого этапа (особенно в долгосрочной перспективе), повышение скорости передачи и обработки данных, а также в некоторых случаях повышение качества данных (например, увеличение доли содержательных ответов на сензитив-ные вопросы — потребление алкоголя, доход). Тем не менее, переход к сбору данных с использованием планшетов связан также с некоторыми рисками. Среди основных недостатков CAPI можно выделить увеличение воспринимаемой длительности анкеты, потерю гибкости в процессе заполнения анкеты, психологический дискомфорт (страх), а также возрастающую ког-
Mikhail B. BOGDANOV2 — analyst, Laboratory for Cultural Sociology and Anthropology of Education E-MAIL: bogdanovmikle@mail.ru https://orcid.org/0000-0001-6245-7178
2 National Research University Higher School of Economics, Moscow, Russia
Аbstract. In this work, authors analyse the evaluation of pilot phase of the survey transition from the Pen and Pencil Interview method (PAPI) to Computer Assisted Personal Interview (CAPI) method using a tablet within the project "Russian Longitudinal Monitoring Survey" (RLMS-HSE) made by interviewers and supervisors. The analysis made using data gained from 13 interviews with interviewers, 3 interviews with supervisors, and a survey conducted on 50 interviewers.
The main advantages of CAPI method are: a significant reduction in the cost of the field phase (especially in the long term), increasing the speed of data transmission and processing, and in some cases improving the quality of data (for example, increasing the proportion of meaningful answers to sensitive questions about an alcohol consumption and an income).
However, the transition to a data collection using tablets also involves some risks. The main CAPI disadvantages are an increase in the perceived length of an interview; a loss of flexibility in the process of filling in the questionnaire; unease or fear, as well as an increased cognitive overload of the interviewers. Also, the use of tablets associated with such technical difficulties as long response time of a tablet, full or partial data loss, difficulties with GPS position location.
нитивную нагрузку на интервьюеров. Использование планшетов также было сопряжено с такими техническими трудностями, как медленная работа устройства, полная или частичная потеря данных, невозможность определения местоположения.
Кроме того, интервьюеры отмечают изменение коммуникативной составляющей интервью при опросе с использованием планшетов, что потенциально может оказывать значительное влияние на восприятие ситуации интервьюерами и респондентами и снижать удовлетворенность участием в проекте. С помощью моделирования структурными уравнениями на данных анкетирования 50 интервьюеров, отобранных для участия в пробном этапе, было выявлено, что влияние возраста на ожидания интервьюеров относительно САР1 полностью опосредуется их уверенностью пользования техническими средствами.
Besides, interviewers noted a change in the communicative component of the interview when interviewing with tablets which may considerably change interviewers' and respondents' reaction to the interviewing process and satisfaction. Structural equation modelling on data from a survey of 50 interviewers selected to participate in the pilot phase revealed that their confidence in using technical tools completely mediates the influence of age on interviewers' expectations regarding CAPI.
Ключевые слова: САР1, РАР1, методы сбора данных, интервьюеры, ожидания интервьюеров, методология лон-гитюдных обследований
Keywords: CAPI, PAPI, data collection methods, interviewers, interviewers' expectations, methodology of longitudinal surveys
Благодарность. Статья подготовлена в рамках работы по гранту Российского научного фонда «Разработка интерактивной методической инфраструктуры для повышения качества данных лон-гитюдных социологических исследований» (№ 17-78-20172).
Acknowledgments. This article was prepared within the project titled: "Developing an interactive methodical infrastructure for improving data quality in longitudinal sociological surveys" supported by the Russian Scientific Fund (Project Number: 17-78-20172).
Авторы статьи выражают благодарность за помощь в сборе данных и за ценные комментарии в процессе написания статьи И.Ф. Девятко и А.М. Мавлетовой.
The authors express their gratitude for the help in data collection and for valuable comments during the process of writing the article I. F. Devyatko and A. M. Mavletova.
Введение
На смену привычным методам проведения опросов, наиболее распространенным из которых можно считать личное интервьюирование с использованием бумажной анкеты (Paper and Pencil Personal Interview — PAPI), приходят новые методы, в которых используются различные формы компьютерных технологий (Computer-Assisted Interviewing—CAI). В перечень таких способов сбора данных помимо прочих входят также интервью на планшетах (Computer-Assisted Personal Interviewing—CAPI). Несмотря на то, что зарубежный опыт переходов от PAPI к CAPI описывался уже в 1990-х и начале 2000-х [Bateson, Hunter, 1991; Böhme, Stöhr, 2014; De Leeuw et al., 1995; Laurie, 2003; Schräpleret al., 2006; Smith, Kim, 2003], в российском исследовательском поле сложно найти детальное описание нюансов и возможных трудностей, связанных с переходами подобного рода. Более того, отсутствует также и описание отличий между данными, получаемыми в результате использования различных способов интервьюирования респондентов (CAPI, PAPI и др.), в том числе и относительно изменения качества данных.
Внедрение компьютерных технологий в процесс сбора данных зачастую обосновывается несколькими причинами: снижение длительности полевого этапа и стоимости его проведения (особенно в долгосрочной перспективе) [Baker et al., 1995], автоматизация переходов между вопросами наряду с другими возможностями, предоставляемыми компьютерными технологиями [Couper, Burt, 1994]. Кроме того, использование компьютерных технологий на полевом этапе позволяет осуществлять более эффективный контроль за сбором данных, а также дает возможность собирать дополнительную информацию об интервью и поведенческих характеристиках респондентов и интервьюеров (параданные) [Терентьев и др., 2018].
В случае анкет с большим количеством вопросов-фильтров и переходов навигация по опроснику может вызывать затруднение у интервьюеров при использовании PAPI метода сбора данных. Использование методов CAI (в том числе и CAPI) позволяет избежать ошибок на этапе проведения интервью, связанных с навигацией по анкете, поскольку подобные задачи решаются автоматически. Более того, компьютерные технологии в процессе опроса позволяют сравнивать ответы на определенные связанные вопросы, благодаря чему возможно оперативно исправлять ошибки ввода (например, указание определенного формата ответа на вопрос про возраст—только цифры, N/NN). Это позволяет снизить время на проверку данных, так как получаемые ответы проверяются автоматически в поле, а также, в случае наличия доступа к интернету, могут проверяться супервайзером непосредственно в процессе проведения поля. Более того, отсутствие отдельного этапа ввода данных позволяет снизить как материальные, так и временные затраты, необходимые для проверки и исправления ошибок ввода [Couper, Burt, 1994].
Купер и Берт в своих работах приводят данные, показывающие, что люди, обладающие низким уровнем компьютерной грамотности, могут не доверять опросам, использующим CAI методы сбора данных, из-за эффекта «большого брата» — недоверие компьютерным технологиям из-за неуверенности в том, что предоставляемые данные будут использоваться конфиденциально и будет со-
хранена анонимность [Couper, Burt, 1994]. Более того, события последних лет (скандалы с использованием персональных данных) могут приводить к недоверию компьютерным технологиям и со стороны уверенных пользователей 1. Роджер Туранжо утверждает, что само присутствие интервьюера в процессе проведения интервью методом CAPI может приводить к получению менее содержательных ответов на сенситивные вопросы от респондентов [Tourangeau, Smith, 1996; Tourangeau, Yan, 2007].
Тем не менее, с каждым годом в России снижается доля людей, не пользующихся компьютерными технологиями [Богданов, Лебедев, 2017], что, соответственно, потенциально может вести к снижению влияния эффекта «большого брата» [Paudel et al., 2013]. При этом проблема ответов на сенситивные вопросы остается и при использовании CAPI, а также в случае панельных социальных обследований, особенно учитывая заинтересованность социальных исследований в таких сенситивных темах как доходы [Al Baghal et al., 2018; Paudel et al., 2013], здоровье [Watson, Wilkins, 2012] и т. п.
В таких типах вопросов, как предоставление данных относительно доходов или прохождение по ссылке для связи опросных данных с персональным твиттер-аккаунтом, люди чаще раскрывают информацию в случае использования CAPI метода сбора данных, нежели в случае онлайн опросов. Предположительно это может быть связано с более высоким уровнем доверия со стороны респондентов к процессу сбора данных с участием интервьюеров [Baker et al., 1995; De Leeuw et al., 1995; Al Baghal et al., 2018: 50].
Переход с метода сбора данных PAPI на CAPI требует большого внимания и детальной проработки на каждом этапе. Особенно это важно в случае панельных обследований, в которых одни и те же респонденты из волны в волну опрашиваются одними и теми же интервьюерами. В этом контексте необходимо обратить внимание на исследования, сфокусированные на оценке изменений, происходящих при переходе на сбор данных методом CAPI.
В контексте осуществления перехода с PAPI на CAPI существенным вопросом становится оценка изменений качества данных на всех имеющихся уровнях их сбора. Учитывая ключевую роль интервьюеров в этом процессе, в этой работе мы сконцентрировались на изучении изменений в коммуникативной и ситуационной составляющих при переходе от PAPI к CAPI с их точки зрения. Мы считаем необходимым обратить внимание на трудности, с которыми столкнулись интервьюеры в процессе сбора данных с помощью нового метода (CAPI). Дополнительной задачей данной работы является измерение характера взаимосвязи возраста интервьюеров и их ожиданий относительно перехода на CAPI.
В начале этой работы мы систематизируем результаты имеющихся исследований относительно использования CAPI, а также влияния переходов с PAPI на CAPI на качество данных, интервьюеров и респондентов. В разделе «Методология
1 Wong J., The Cambridge Analytica scandal changed the world — but It didn't change Facebook // The Guardian URL: https://www.theguardlan.com/technology/2019/mar/17/the-cambrldge-analytlca-scandal-changed-the-world-but-lt-didnt-change-facebook (дата обращения: 23.08.2019); Forrest A. Facebook data scandal: Social network fined $ 5bn over 'inappropriate' sharing of users' personal information // Independent URL: https://www.independent.co.uk/news/ world/americas/facebook-data-privacy-scandal-settlement-cambridge-analytica-court-a9003106.html (дата обращения: 23.08.2019).
исследования» будут описаны: контекст проведенного исследования, стратегия сбора и анализа данных, которые мы используем в работе. Далее будут представлены результаты анализа проведенных в рамках исследования полуструктурированных интервью (преимущества, недостатки, трудности при использовании CAPI) и собранных количественных данных (взаимосвязь возраста интервьюеров и ожиданий относительно перехода на CAPI).
Имеющийся опыт перехода на CAPI
Появление компьютерной техники в привычной «вопросно-ответной» форме коммуникации между интервьюером и респондентом может приводить к возникновению некоторых сложностей. В панельных исследованиях, в которых один интервьюер может проводить опрос в тех же самых домохозяйствах, эта проблема представляется еще более существенной. За годы проведения исследования между интервьюером и респондентом могут возникнуть доверительные отношения. Появление в этом контексте компьютерной техники может влиять как на сам процесс проведения интервью, так и на получаемые данные, а также на ощущения от участия в исследовании как респондентов, так и интервьюеров. Сама ситуация интервью может становиться более официальной [Watson, Wilkins, 2012]. Именно подобному изменению приписывают наибольшую значимость в отношении изменения качества получаемых данных [Couper, Burt, 1994], поскольку это может приводить к отказу от участия в исследовании и, соответственно, осыпанию панели (увеличению ошибки неответов) [Терентьев и др., 2018].
Важно, тем не менее, отметить, что результаты некоторых исследований наоборот показывают, что при переходе от PAPI к CAPI количество отказов от участия в исследовании не увеличивается (панель не осыпается) [Paudel et al., 2013], а в некоторых случаях это приводит к значительному уменьшению отказов от участия и от ответов на отдельные вопросы, что может быть связано с более ответственным отношением к опросу в целом [Baker et al., 1995; Watson, Wilkins, 2012].
Одним из наиболее часто высказываемых опасений относительно перехода на сбор данных методами CAI является нежелание респондентов и/или интервьюеров участвовать в интервью с использованием компьютерных технологий [De Leeuw et al., 1995; Paudel et al., 2013]. Однако в проведенных исследованиях были найдены как опровержения подобных опасений, касающихся использования CAI в процессе сбора данных [De Leeuw et al., 1995], так и их подтверждения. Так, например, в исследовании Н. Уотсон и Р. Вилкинса на примере блоков вопросов про здоровье видно, что доля неответов, наоборот, снизилась [Watson, Wilkins, 2012]. Желание отвечать или не отвечать на сенситивные вопросы может зависеть от того, насколько позиция респондента по той или иной теме может считаться социально неодобряемой. Респондент откажется отвечать или будет давать несодержательные ответы с большей вероятностью в том случае, если он желает скрыть позицию или информацию, которая, по его мнению, может считаться социально неодобряемой [Tourangeau, Yan, 2007].
Несмотря на то, что при использовании метода CAPI время на проведение полевого этапа снижается, ввиду повышения скорости передачи данных напрямую из поля [Martin, 1993; Mercader et al., 2017], средняя длительность проведения
интервью может повышаться по сравнению с опросом на бумаге [Watson, Wilkins, 2012]. Тем не менее в некоторых исследованиях наблюдается сокращение среднего времени проведения интервью при использовании CAPI [Терентьев и др., 2018]. Важным уточнением здесь будет то, что время заполнения анкеты при CAPI может зависеть от характеристик интервьюеров — в данном случае особенно важен факт наличия опыта проведения интервью с использованием компьютерных технологий [Böhme, Stöhr, 2014; Paudel et al., 2013].
В целом, при переходе к CAPI сильнее всего меняется роль именно интервьюеров [Bateson, Hunter, 1991]. Прежде всего, потенциально возрастает количество задач, с которыми интервьюеру требуется справляться в процессе проведения интервью. Если в случае PAPI это поддержка коммуникации с респондентом и заполнение бумажного опросника (включая отслеживание логики анкеты, показывание карточек и т. п.), то в ситуации интервьюеру с помощью CAPI в дополнение к этому требуется следить за планшетом (заряд, правильность использования, подключение к интернету, определение гео-точки), вводом текста, возникает необходимость исправления ошибок, подсказанных планшетом и т. п. [Bateson, Hunter, 1991]. Все это вкупе с уже имеющимися задачами может приводить к повышенной когнитивной нагрузке или даже «перегрузке» интервьюера [Девятко, Лебедев, 2017; Девятко, 2018].
Важность роли интервьюеров также обусловлена тем фактом, что их отношение к опросам с использованием компьютерных технологий и ожидания относительно успешности перехода к использованию такого метода влияют на то, насколько успешно пройдет переход от PAPI к CAPI.
Несмотря на многие доказательства, которые указывают на отсутствие существенного снижения качества данных при переходе на CAPI, стоит отметить, что у исследуемых интервьюеров в таких случаях часто был опыт работы с планшетами [Baker et al., 1995; De Leeuw et al., 1995]. В отличие от таких панельных исследований, как BHPS, HILDA, Australian Household Income and Labour Dynamics Panel [Богданов, Лебедев, 2018], в исследовании РМЭЗ НИУ ВШЭ у интервьюеров зачастую отсутствует подобный опыт.
Желание или нежелание интервьюеров участвовать в исследовании с использованием метода CAPI может зависеть от их характеристик, ожиданий относительно успешности перехода и того, насколько респонденты будут готовы участвовать в интервью с использованием компьютерной техники [Couper, Burt, 1994].
Ожидания интервьюеров могут влиять как на субъективное восприятие успешности использования нового метода сбора данных, так и на более объективные показатели качества данных, такие как длительность интервью, общий уровень неответов, уровень неответов на конкретные разделы анкеты, на сенситивные вопросы, общее восприятие процесса интервью со стороны респондентов т. п.
Несмотря на то, что при переходе на новый метод сбора данных больше всего меняется роль именно интервьюеров, как в отечественных, так и в западных работах не так много внимания уделяется восприятию и оценке перехода самими интервьюерами.
Те немногие найденные нами работы, которые напрямую были посвящены этой теме показали, что ожидания интервьюеров относительно нового метода
сбора данных действительно влияют на успешность перехода. Например, Э. Сингер показала, что интервьюеры с более оптимистичными ожиданиями относительно склонности респондентов участвовать в опросе, а также относительно успешности перехода на телефонные опросы (Computer Assisted Telephone Interview — CATI) были более результативны—для них переход на CATI был более успешным, чем для более пессимистично настроенных интервьюеров [Shepherd et al., 1996]. М. Купер и Ж. Берт выявили, что при переходе на CAPI американские интервьюеры с изначально более позитивными установками к методу сбора данных CAPI в итоге сталкивались с меньшим количеством проблем при проведении опросов на планшете [Couper, Burt, 1994]. Тем не менее, стоит отметить, что в этом исследовании не было обнаружено влияния установок по отношению к CAPI на уровень отсутствия ответов в процессе опроса в целом и на конкретные вопросы в частности, а также на долю затруднившихся ответить в различных вопросах [Couper, Burt, 1994].
В контексте исследования российских интервьюеров необходимо упомянуть А. Ю. Мягкова, выявившего, что ожидания интервьюеров относительно уровня кооперации и поведения респондентов во время интервью имеют значительное влияние на полученные данные [Мягков, Журавлева, 2004: 22]. Причем этот эффект охватывает все полевые этапы, от общих показателей достижимости, наподобие уровня неответов, до более тонких аспектов самих интервью, таких как количество пропущенных вопросов, доля нормативных ответов и уклончивость ответов на открытые вопросы [Мягков, Журавлева, 2004: 22].
Что касается факторов, которые влияют на ожидания интервьюеров относительно CAPI, или по крайней мере с ними связаны, то регрессионное моделирование на данных по интервьюерам британского проекта «Текущие опросы населения» показало, что ожидания относительно CAPI положительно зависят от образования интервьюера и его опыта работы с компьютером и отрицательно связаны с наличием опыта работы в данном проекте [Couper, Burt, 1994: 47]. Кроме того, эффекты возраста и пола оказались статистически незначимыми. Однако, отметим, что это исследование датировано 1992-м годом, то есть проводилось не просто на заре развития компьютеризированных методов проведения опросов, но и на достаточно раннем этапе распространения компьютерных технологий в принципе.
Методология исследования
Описываемое исследование было проведено в рамках проекта по переводу Российского мониторинга экономического положения и здоровья населения НИУ ВШЭ (РМЭЗ-ВШЭ) [Kozyreva et al., 2016] с метода личного интервьюирования с использованием бумажной анкеты (PAPI) на метод интервьюирования с использованием компьютерной техники в формате планшета (CAPI). Важно заметить, что панельный характер этого обследования предполагает, что каждый год интервьюеры возвращаются в одни и те же домохозяйства и опрашивают тех же людей. Соответственно, при оценке производимого перехода с PAPI на CAPI необходимо принимать во внимание наличие определенного уровня доверия между респондентами и интервьюерами. К тому же, используя особенность лонгитюд-
ных панельных обследований, можно проследить непосредственно изменения, происходящие в результате перехода, с точки зрения участников этого процесса (в случае нашего исследования — интервьюеров). Мы имеем возможность услышать мнения интервьюеров о том, что изменилось при опросе разными методами (CAPI и PAPI) одних и тех же респондентов.
Для участия в экспериментальном полевом этапе с планшетами, руководителями и супервайзерами проекта были отобраны 50 интервьюеров. Весь процесс перехода включал в себя проведение предварительных тренингов для интервьюеров и супервайзеров, анкетирование и интервьюирование самих интервьюеров, супервайзеров и руководителей проекта на различных этапах проведения этого проекта (до и после тренингов, после первой волны на планшетах). Результаты фактического и семантического анализа тренингов, а также результаты оценки влияния тренингов на ожидания интервьюеров относительно успешности перехода были описаны ранее вместе с более детальным описанием проекта по переводу РМЭЗ ВШЭ с PAPI на CAPI [Богданов, Лебедев, 2018].
Что касается планшетов, то использовалась следующая модель: Samsung Galaxy Tab A 16.0 SM-T355. В качестве программного обеспечения для CAPI использовалась программа Survey Solutions — бесплатное программное обеспечение, предоставляемое Всемирным банком2. В этом исследовании не ставилась задача оценить эффективность и работоспособность этой программы в рамках метода CAPI для лонгитюдных обследований, однако, это может быть интересной задачей для будущих исследований.
Что касается сравнения производимого перехода с опытом зарубежных коллег, то, как правило, такие исследования, как BHPS (British Household Panel Survey— Understanding Society), HILDA, Australian Household Incomeand Labour Dynamics Panel при переходе на CAPI проводили тренинги не менее 3—4 дней [Watson, Wilkins, 2012; Böhme, Stöhr, 2014], тогда как в случае перехода в рамках РМЭЗ-ВШЭ тренинги проходили в группах из 5—7 человек и занимали не более трех часов [Богданов, Лебедев, 2018].
С целью оценки процесса перехода с PAPI на CAPI с точки зрения интервьюеров мы решали две ключевые задачи:
1 — Определить основные проблемы и трудности, с которыми интервьюеры столкнулись в процессе проведения интервью методом CAPI.
2 — Проанализировать связь между ожиданиями интервьюеров относительно успешности перехода на CAPI и их характеристиками (возрастом и опытом работы в качестве интервьюера).
Для решения первой задачи были проведены 16 полуструктурированных интервью с интервьюерами и супервайзерами. Вторая задача предполагала использование данных анкетирования интервьюеров, проведенного до выхода в поле и до участия в тренингах.
Полуструктурированные интервью с интервьюерами и супервайзерами были проведены в период с марта по июнь 2018 г. Анализ был основан на 16 интервью (13 у интервьюеров и 3 у супервайзера). Все интервьюеры, попавшие в выбор-
2 Survey Solutions — бесплатное приложение развиваемое в департаменте Данных Всемирного Банка. Survey Solutions. URL: https://mysurvey.solutions (дата обращения: 23.08.2019)
ку, были из Москвы и Московской области при том, что в переходе участвовали также 10 интервьюеров из других регионов (Казань, Соликамск, Бердск, Вольск и Курган). 7 интервьюеров из Москвы и Московской области отказались от интервью по причине их недоступности или же личного нежелания. Кроме того, в выборку не вошли интервьюеры из других регионов (10) в связи с невозможностью связи путями отличными от личного интервьюирования.
Были также проинтервьюированы три супервайзера из Москвы и регионов. Из всех интервью, только один супервайзер был мужского пола (все остальные интервьюеры и супервайзеры были женского пола).
Всего было проведено 13 глубинных интервью с интервьюерами продолжительностью от 15 до 20 минут. С супервайзерами было проведено 3 интервью продолжительностью от 15 до 20 минут 3.
Данные, использованные для анализа взаимосвязи возраста и опыта интервьюеров с их ожиданиями относительно перехода на САР1, были получены с помощью личного анкетирования. Всего было проведено три этапа анкетирования: до и после тренингов, а также после полевого этапа (для самооценки успешности перехода на САР1). В первом и втором этапе анкетирования приняли участие 50 интервьюеров, а в третьем только 30, так как не все интервьюеры участвовали в экспериментальном полевом этапе.
Оценка перехода со стороны интервьюеров и супервайзеров
В этом разделе будут представлены результаты анализа полуструктурированных интервью, в которых интервьюеры и супервайзеры оценивали различные аспекты перехода с РАР1 на САР1, производимого в рамках проекта РМЭЗ НИУ ВШЭ. Приводимые цитаты используются в качестве подкрепления и доказательства описываемого элемента перехода с РАР1 на САР1. Количество используемых цитат ограничено объемом текста.
Необходимо подчеркнуть, что в этом разделе производится описание опыта интервьюеров и супервайзеров по переходу от РАР1 к САР1. Соответственно, все указываемые преимущества и недостатки САР1, трудности в рамках полевого этапа являются таковыми с точки зрения именно интервьюеров или супервайзеров. Ввиду того, что процесс сбора данных включает в себя несколько сторон (респонденты, интервьюеры, супервайзеры, исследователи/ пользователи конечных данных) и нередко цели различных сторон могут отличаться, что в итоге может приводить к ситуации, когда преимущества использования определенного метода сбора данных для одной стороны будет недостатком для другой и наоборот. Таким образом, мы сознательно ограничиваемся описанием перехода от РАР1 к САР1 именно с точки зрения интервьюеров и супервайзеров.
Преимущества CAPI в сравнении с PAPI
Наибольшее значение интервьюеры придают разнице в весе между планшетом и бумажными анкетами, указывая на удобства и преимущества использования метода САР1 в сравнении с РАР1:
3 Гайды интервью с интервьюерами и супервайзерами приведены в приложении.
«Большое преимущество — не нужно таскать горы бумаги, мне это тяжело»(интервьюер 7, женщина, 10.04).
Важность этого преимущества подчеркивается тем, что нередко интервьюерам приходится ездить в отдаленные места для проведения интервью:
«Человек, который едет в Подмосковье с анкетами, тому удобнее на планшете» (супервайзер 1, женщина, 30.05).
Другим преимуществом использования планшетов для опроса респондентов интервьюеры называют автоматические переходы в анкете:
«То, что автоматически отслеживаются переходы, это замечательно, половина трудностей пропадает—это плюс» (интервьюер 15, женщина, 13.03).
Кроме того, отмечается возможность предотвращения ошибок, пропусков непосредственно в самом процессе заполнения анкеты:
«Плюс, что на планшете нельзя пропустить переход или важный вопрос» (интервьюер 9, женщина, 12.04).
Недостатки CAPI в сравнении с PAPI
Недостатки использования планшетов, которые выделяют интервьюеры, в первую очередь связаны с повышением времени заполнения анкеты. Этот факт, интервьюеры зачастую объясняют медленной работой техники при переходах от одного вопроса к другому. В связи с этим интервьюеры по собственным ощущениям теряют концентрацию, что в результате повышает вероятность совершения ошибки:
«Дольше, пока дождешься перехода на другую страницу много времени пройдет. Потом начинаешь спешить и ошибки делать» (интервьюер 3, женщина, 13.03).
К тому же повышение времени проведения интервью при переходе от РАР1 к САР1, по мнению интервьюеров, связано с более медленным процессом внесения ответов на открытые вопросы в случае использования планшетов:
«Набирать на нем [планшете] очень долго...» (интервьюер 9, женщина, 12.04).
Интервьюеры также отмечают усложнение самого процесса заполнения анкеты. В том числе это касается потери гибкости в процессе заполнения анкеты, что было возможно при интервьюировании методом РАР1, а именно возможность заполнять анкету не последовательно (особенно в случае объемных разделов, касающихся работы, образования, медицины):
«Анкета очень объемная и некоторую информацию респондент забывает (стаж работы, название университета). На бумажной анкете мы можем пропустить вопрос и вернуться к нему, когда он вспомнит, а тут пропустить нельзя» (интервьюер 2, женщина, 13.03).
Кроме того, усложнение процесса заполнения анкеты отмечается и со стороны респондентов:
«Многие респонденты хотят отвечать на вопросы, прочитав их самостоятельно, с планшетом это сложнее сделать, чем с бумагой» (интервьюер 9, женщина, 12.04).
С одной стороны, это действительно является недостатком, поскольку усложняет заполнение анкеты для интервьюеров и делает участие в интервью для респондентов менее удобным. С другой стороны, в обоих случаях желания и интервьюеров, и респондентов (отвечать на вопросы непоследовательно или читать вопросы
самостоятельно) нарушают инструкции по заполнению анкеты. Соответственно, подобные «ограничения», появляющиеся в рамках использования САР1, могут считаться скорее преимуществом с точки зрения руководителей проекта, исследователей и конечных пользователей данных.
Также в интервью прослеживался психологический дискомфорт интервьюеров, связанный с неуверенностью в обращении с техникой, которая вела к появлению страха совершения ошибки, неправильному вводу данных или их полной потери: «У меня специфическое отношение с техникой, я боюсь, что что-нибудь не так нажму, все сотру, и все» (интервьюер 8, женщина, 10.04).
Как отмечают супервайзеры, страх работы с техникой является фактором повышения психологической нагрузки на интервьюеров при опросе методом САР1: «Есть кто-то, кто боится гаджетов, и для них это достаточно высокая психологическая нагрузка, потому что всегда боятся — а если он выключится, не запишется, сломается, пропадет информация, придется возвращаться еще раз и делать на бумаге» (супер-вайзер 1, женщина, 30.05).
Это показывает, что кроме выделяемых факторов одновременного использования ограниченных когнитивных ресурсов «внимания, памяти, зрительного и моторного контроля, активного слушания и интерпретации таким образом, чтобы минимизировать ошибки в понимании вопроса респондентом и ошибки фиксации ответа...» [Девятко, 2018: 628], стоит учитывать и психологическую нагрузку, вызванную дискомфортом работы с планшетом в связи с боязнью, неопытностью интервьюеров в работе с техникой.
Говоря о когнитивной нагрузке, заметим, что интервьюеры сами ощущают подобное наслоение разнонаправленных задач, повышающих трудность проведения интервью с использованием планшетов:
«То, что можно потерять [данные], я все время нервничаю. Мне нужно опрашивать, мне не нужно об этом думать. Представьте, вы едете на машине, и вам еще нужно педали крутить руками, помимо всего прочего, и иногда млеть, когда вспомните про руль, вот тут то же самое» (интервьюер 15, женщина, 13.03).
Трудности и ограничения при использовании CAPI
Технические трудности использования планшетов нередко становятся основаниями проблем использования планшетов для сбора данных интервьюерами (проблема с сохранением данных—их полная и частичная потеря, невозможность продолжения опроса после определенных вопросов):
«Планшет зависает, бывает доходишь до середины анкеты, и он не идет ни вперед, ни назад. Потом бывает, что он скидывает [всю заполненную информацию]» (интервьюер 2, женщина, 13.03).
Важно отметить, что подобные затруднения в процессе интервью, по мнению интервьюеров, могут также приводить к снижению удовлетворенности от участия в интервью со стороны респондентов:
«Когда начинала работать с опросом, часто он зависал, не знаю почему. У меня и респондент из-за этого нервничал» (интервьюер 16, женщина, 21.03).
Технические трудности также могут быть связаны с некоторыми тяжелыми погодными условиями, в которых интервьюерам приходится добираться к респон-
дентам. Так, в мороз работа с планшетом может быть затруднительной в связи с переохлаждением техники:
«Мороз когда был, планшет разрядился и, когда я пришла и поставила заряжаться, он не сразу включился. Мы с респондентом сидели и ждали» (интервьюер 9, женщина, 12.04).
Основной технической трудностью было определение местоположения интервью, которое замеряется в начале и конце каждой анкеты:
«Иногда для определения местоположения приходилось ходить по квартире или выходить на балкон, чтобы оно определилось. Бывало, что и не находилось» (интервьюер 7, женщина, 10.04).
Важно отметить, что проблемы с замером местоположения связаны не только с характеристиками квартир/ домов, в которых производился замер местоположения (в личных обсуждениях этой проблемы супервайзеры высказывали предположение о том, что определение местоположения может быть затруднено из-за кирпичных стен домов):
«В некоторых моментах не замерялся GPS [местоположение], даже когда на улицу выходила. Практически на каждом интервью возникали проблемы с замером GPS» (интервьюер 15, женщина, 13.03).
Опыт интервьюеров подсказывает, что скорее подобная проблема связана с положением населенного пункта и близости мобильных вышек или с другими характеристиками места замера местоположения, которые еще предстоит определить.
Технические трудности могли также возникать по причине низкой компьютерной грамотности интервьюеров, неуверенности и отсутствия опыта использования планшета для проведения интервью:
«[Интервьюеры] текстовые вопросы неправильно могли заполнить—лишний ноль, запятая не в том месте или двойной щелчок [по кнопке „Далее"] и из-за этого пропуск вопроса, что могло приводить к пропуску целых блоков, и поэтому приходилось возвращаться, грубо говоря, с бумажной анкетой» (супервайзер 2, мужчина, 04.06).
Основным способом решения технических проблем для интервьюеров из Москвы и Московской области являлся звонок супервайзеру для получения консультации. По словам супервайзеров, зачастую оказываемая помощь носила скорее успокаивающий характер, нежели непосредственное техническое консультирование:
«С техническими проблемами в поле справлялись с помощью звонка в офис. Причем чаще всего это были нервы. Их нужно было успокоить, вернуться назад и заново. В основном именно из-за этого были трудности, потому что планшеты хорошие» (супер-вайзер 2, мужчина, 04.06).
Тем не менее, в случае необходимости непосредственного решения технических затруднений, у супервайзеров была возможность подключиться к планшету через интернет, с помощью приложения TeamViewer Quick Support 4 и справиться с проблемой удаленно:
4 Программа позволяет супервайзерам получать удаленный доступ к управлению планшетом и лично проверять все необходимые настройки, а также определять причину технических неполадок и решать их из офиса в Москве. Для использования приложения обе стороны должны быть подключены к интернету. TeamViewer URL: https://www. teamviewer.com/ru/ (дата обращения: 23.08.2019).
«Была программа, в которой все решали из Москвы — подключался к интернету и из Москвы подключались к планшету и все решали» (супервайзер 3, женщина, 28.05).
Основной организационной проблемой, которую отмечают супервайзеры, является низкий уровень разработанности процесса ручной проверки полученных данных. В связи с невозможностью просмотра данных в формате анкеты и нехваткой в некоторых случаях опыта проверки путем работы с базой данных, супервайзерам приходилось печатать анкеты, что приводило к значительным затратам ресурсов (времени, чернил принтера, бумаги):
«Очень неудобно проверять анкеты с компьютера, приходилось печатать. Это неудобно, потому что вид кривой, не все супервайзеры дружат с компьютером. Грубо говоря, у нас было сто анкет по восемьдесят страниц — принтер, картридж, бумага, время...» (супервайзер 2, мужчина, 04.06).
На данный момент наблюдается ситуация, в которой супервайзеры не понимают каким образом возможно совмещение автоматической проверки данных (CAPI) с привычными способами ручной проверки:
«Не очень понятно, как мы будем проверять, при полном переходе. Мы много описок, опечаток отлавливаем глазами. А тут это непонятно, как надо будет делать» (супервайзер 1, женщина, 30.05).
Важно заметить, что проблему с проверкой данных отмечают также и интервьюеры, для которых значительно усложняется первоначальная проверка данных (до передачи анкет в офис супервайзерам):
«Когда анкеты со мною, я могу пролистать, посмотреть, а потом перезвонить и уточнить» (интервьюер 14, женщина, 13.03)
Отметим, что программное обеспечение предусматривало возможность повторного просмотра анкеты и первичной проверки данных, однако этот аспект не освещался на тренингах, поэтому большая часть интервьюеров об этой возможности не знала.
Реакция респондентов
Важным моментом для оценки успешности перехода является реакция со стороны респондентов. Прежде чем переходить к описанию непосредственного опыта интервьюеров, связанного с реакцией респондентов на использование планшетов (CAPI), стоит принимать во внимание панельный характер РМЭЗ ВШЭ и наличие между интервьюерами и респондентами доверительных отношений, сложившихся за предыдущие годы проведения исследования.
В основном респонденты принимают планшеты без каких-либо особенных реакций:
«Респондентам все равно, вообще без разницы. Про отказы от респондентов я ничего не слышала. Респонденты не боятся планшетов» (супервайзер 1, женщина, 30.05).
Тем не менее, встречаются случаи, когда респонденты отказываются от участия в опросе с использованием планшета:
«Был один респондент, который категорически отказался отвечать на вопросы с планшета, почему — не знаю» (интервьюер 2, женщина, 13.03).
Интересно заметить, что интервьюеры отмечают положительную связь между доверием респондентов интервьюерам, сложившимся за годы проведения про-
екта РМЭЗ-ВШЭ, и готовностью респондентов проходить опрос с использованием планшета:
«На нашем проекте [респондентам] без разницы, люди уже доверяют, и это гораздо проще проходит» (интервьюер 15, женщина, 13.03).
«У меня вообще со всеми хорошие отношения, так что все с пониманием» (интервьюер 16, женщина, 21.03).
Несмотря на то, что иногда встречались случаи отказа от участия в интервью с планшетом, в основном респонденты нейтрально реагируют и не выступают против интервью на планшете. При этом интервьюеры отмечают, что благосклонность респондентов во многом объясняется доверительными отношениями, сложившимися за время проведения проекта РМЭЗ НИУ ВШЭ.
Изменение атмосферы интервью
Включение техники (планшета) в опрос-ответную коммуникативную ситуацию может приводить к изменению отношений в процессе заполнения анкеты и, соответственно, к изменению атмосферы происходящих взаимодействий:
«Мне кажется, опросы на бумаге сохраняют какую-то теплоту... Люди больше этому доверяют... Разрушается эта доверительная атмосфера, я ведь практически опрашиваю людей, которых давно знаю» (интервьюер 7, женщина, 10.04).
«Обычно если опрашиваю, мы сплетничаем, отвлекаемся, а тут больше напряжения, отношение меняется» (интервьюер 11, женщина, 03.05).
Подобные изменения в атмосфере, по мнению интервьюеров, могут негативно сказываться на удовлетворенности респондентов от участия в интервью, теряется «расположение» респондентов:
«Некоторым людям было некомфортно, потому что, когда на бумаге, они могли рассказывать о своей жизни, отвлекаться, а тут всегда приходилось задавать им определенные вопросы и даже вот некоторые были не очень довольны. Когда это можешь позволить, люди более располагаются, а тут многим становилось скучно» (интервьюер 7, женщина, 10.04).
При этом важность поддержания привычной коммуникативной стратегии отмечается самими интервьюерами как важный этап проведения интервью, который при этом становится намного сложнее воспроизводить в случае опроса с использованием планшетов:
«Стараюсь не говорить лишнего, хотя я уже привыкла, но все равно, я себя как-то ограничиваю, а человеку это нужно, это расслабляет, это нормально. А когда меня записывают, я не разговариваю. Для меня это психологический дискомфорт. Люди тоже, кстати. Никаких сплетен за все это время никто не рассказал, о том, что у них в жизни там происходит. Это затрудняет, потому что контакт ухудшается» (супервайзер 3, женщина, 13.03).
Интересно заметить, что меняется атмосфера не только коммуникации между интервьюером и респондентом, но и восприятие интервьюерами процесса взаимодействия с анкетой. Меняется как сам процесс работы с анкетой (навигация по анкете, ввод ответов на открытые вопросы), так и внутренние ощущения интервьюеров от этого взаимодействия. По словам интервьюеров, анкета становится «менее живой»:
«[В бумажной анкете] вернуться проще, отлистала назад, написала комментарии на полях, то есть более живая анкета получается» (супервайзер 1, женщина, 30.05).
«С планшетом сложнее не читать формулировки вопросов. Чувствуется, что больше контроля»(интервьюер 3, женщина, 13.03).
Изменение атмосферы интервью при использовании метода сбора данных САР1 делало коммуникативную ситуацию менее «живой» (меньше отступлений от анкеты, разговоров не по теме), что может приводить к снижению удовлетворенности участия в интервью со стороны респондентов. С другой стороны, нужно признать, что более формальные практики проведения интервью, вероятно, в большей степени соответствуют методу стандартизированного личного опроса, который и является основным заявляемым методом в подобного рода исследованиях, просто исходя из определения данного метода.
Основные результаты анализа полуструктурированных интервью, проведенных с интервьюерами и супервайзерами относительно оценки качества первой волны перехода с РАР1 на САР1, приведены на рисунке 1.
Изменение атмосферы
PAPI
переход
CAPI
Трудности
- Технические (медленная работа планшета, полная или частичная потеря данных), втом числе из-за погодных условий
- Невозможность определения местоположения (GPS координаты)
- Проверка полученных данных с учетом имеющейся системы ручной проверки
Недостатки CAPI:
- Увеличение воспринимаемой длительности анкеты (интервьюеры)
- Усложнение процесса заполнения анкеты (потеря гибкости)
- Психологический дискомфорт (страх работы с техникой, возможности потери данных)
- Возрастающая когнитивная нагрузка
Преимущества САР1
- Вес планшета по сравнению с бумажными анкетами
- Автоматические переходы между вопросами/разделами в анкете
Рисунок 1. Основные результаты анализа полуструктурированных интервью с интервьюерами и супервайзерами относительно оценки качества перехода с РАР1 на САР1 5
5 Важно заметить, что приведенные на рисунке недостатки являются таковыми с точки зрения интервьюеров. В некоторых случаях перечисленные недостатки могут быть потенциальным преимуществом САР1 в связи с потен-
циальным повышением стандартизации интервью (например, потеря гибкости анкеты)
Взаимосвязь характеристик интервьюеров и их ожиданий
Для выявления взаимосвязи различных переменных и ожиданий интервьюеров использовалось моделирование структурными уравнениями. Это обусловлено тем, что данный метод позволяет оценить модель, в которой, во-первых, есть измерительная часть для латентных переменных, а во-вторых, также присутствует структурная часть, позволяющая оценить прямые и непрямые эффекты независимых переменных на зависимую, то есть учесть эффект медиации. В качестве метода оценки параметров использовался стандартный метод максимального правдоподобия. Все статистические гипотезы тестировались на 95 % уровне доверительной вероятности. Все расчеты проводились в 14-й версии программы «Stata».
Ожидания интервьюеров, как латентный конструкт, измерялись через три вопроса о том, насколько сложнее или легче будет опрос на планшете, насколько хорошо или плохо они с этим справятся, а также как респонденты отреагируют на опрос на планшете6. Также в качестве латентной переменной выступал конструкт «Уверенность пользования техническими средствами связи», который измерялся через восьмибалльную шкалу самооценки умения пользоваться различными техническими средствами (компьютер, планшет и смартфон) 7. В качестве независимых переменных использовались: опыт работы интервьюером и возраст. Использование большего количества переменных (например, в качестве контрольных) было невозможно из-за небольшого объема выборки для анализа: 50 наблюдений. Фокус именно на возрасте обусловлен тем, что супервайзеры перед проведением пробного этапа на планшетах высказывали предположение, что более молодые интервьюеры лучше относятся к идее проведения проекта на планшете. Таким образом, проводилась проверка того, влияет ли возраст на ожидания интервьюеров или же этот эффект опосредуется какими-то другими переменными. Мы предполагали, что влияние возраста на ожидания частично опосредуется уверенностью пользования техническими средствами. Стоит отметить, что пол не включался в анализ, так как выборка интервьюеров чрезвычайно гомогенна по данному параметру—в выборке присутствовало только двое мужчин и 48 женщин.
Таблица 1. Описательная статистика по некоторым характеристикам опрошенных интервьюеров
Характеристика Среднее Стд. откл. Мин. Макс.
Возраст 56 12,4 27 78
Опыт работы интервьюером (в годах) 13 6,8 2 27
Опыт работы интервьюером в проекте РМЭЗ НИУ ВШЭ (в годах) 9 5,4 0 23
6 Измерены через следующие вопросы (даны сокращенные формулировки, пятибалльная шкала): «Опрос на планшете будет сложнее или легче, чем на бумаге?»
«Насколько хорошо или плохо Вы справитесь с проведением опроса на планшете?» «Как респонденты оценят переход к проведению опроса с использованием планшета?»
7 Измерен через вопрос со следующими индикаторами: «Оцените, пожалуйста, по семибалльной шкале, где 1 — неуверенный пользователей, 7—очень уверенный пользователь, 0 — никогда не пользовался данным типом устройств, Ваше умение пользоваться следующими устройствами: персональный компьютер или ноутбук; планшет; мобильный телефон или смартфон».
Характеристика Среднее Стд. откл. Мин. Макс.
Уверенность пользования: ПК или ноутбук* 4,5 1,9 0 7
Уверенность пользования: планшет** 3,2 2,6 0 7
Уверенность пользования: смартфон** 5 1,8 0 7
* По шкале от 0 до 7, где 0 — Никогда не пользовался, 1 — Неуверенный пользователь, почти не умею пользоваться, 7 — Очень уверенный пользователь.
** Измерен через вопрос со следующими индикаторами: «Оцените, пожалуйста, по семибалльной шкале, где 1 — неуверенный пользователей, 7 — очень уверенный пользователь, 0 — никогда не пользовался данным типом устройств, Ваше умение пользоваться следующими устройствами: персональный компьютер или ноутбук; планшет; мобильный телефон или смартфон».
Рисунок2. Теоретическая модель взаимосвязи характеристик интервьюеров и их ожиданий. «+» и «-» показывают предполагаемые знаки параметров модели
Исходя из статистик согласия качество полученной модели можно признать допустимым, что позволяет перейти к ее содержательной интерпретации.
Таблица 2. Статистики согласия модели
РМЭБА 0.076
ОБ! 0.965
Т1_1 0.944
ЭРМР 0.071
Хи-квадрат (знч.) 21.903 (0.188)
Р-квадрат (для всей модели) 64 %
Что касается измерения латентных переменных (ожиданий и уверенности пользования техническими средствами), то все факторные нагрузки являются значимыми и положительными, что отражает предполагаемую структуру данных конструктов.
При данной спецификации модели только уверенность пользования техническими средствами оказывает статистически значимое влияние на ожидания интервьюеров. Стандартизированный эффект этой переменной равен 0,86, то есть при увеличении уверенности пользования техническими средствами на одно стандартное отклонение ожидания интервьюеров увеличиваются на 0,86 стандартного отклонения. Что касается остальных переменных, то опыт работы не оказывает значимого влияния на ожидания интервьюеров, а эффект возраста полностью опосредуется уверенностью пользования техническими средствами. Прямой эффект возраста на ожидания интервьюеров статистически незначим, а непрямой эффект значим и равняется -0,05. Уверенность пользования техническими средствами в свою очередь зависит от возраста. При увеличении возраста на 1 стандартное отклонение уверенность уменьшается на 0,77 стандартного отклонения. Эта модель объясняет 59 % дисперсии уверенности пользования техническими средствами.
Таким образом, можно сказать, что уверенность пользования техническими средствами выступает медиатором между возрастом и ожиданиями интервьюеров относительно перехода на САР1. В целом, данная модель объясняет 59 % дисперсии латентной переменной «ожидания интервьюеров».
Рисунок 3. Стандартизированные коэффициенты модели взаимосвязи характеристик интервьюеров и их ожиданий
Ограничения
Основным ограничением данной работы является специфичность эмпирического объекта изучения. Во-первых, интервьюеры для участия в эксперименте были отобраны не случайным образом, что не позволяет напрямую генерализировать результаты статистического анализа на всю совокупность интервьюеров проекта РМЭЗ НИУ ВШЭ. Во-вторых, респондентов для опроса на планшете интервьюеры выбирали также не случайным образом, а, по словам многих интервьюеров, из субъективных соображений о том благосклонно ли респондент отреагирует на интервью на планшете. Вероятно, что это могло ограничить разнообразие реакций респондентов на переход к CAPI.
Заключение
Таким образом, несмотря на наличие определенных преимуществ (легкость планшета в сравнении с бумажными анкетами, автоматический характер переходов) интервьюеры относительно использования планшетов в личных интервью выделяют также определенные недостатки (увеличение времени заполнения анкеты, изменение процесса взаимодействия с анкетой, психологический дискомфорт и повышенная когнитивная нагрузка). Психологическая нагрузка интервьюеров зачастую была связана с неуверенностью при работе с техникой и боязнью различных технических проблем с анкетой/ планшетом в процессе полевого этапа.
Также наблюдались некоторые технические трудности (медленные переходы между вопросами, полная или частичная потеря данных, медленная работа планшетов в мороз и т. д.), а также трудности, связанные с проверкой данных, со стороны супервайзеров.
Респонденты, как правило, нейтрально относятся к участию в интервью с использованием планшета, в том числе это может быть вызвано доверительными отношениями, которые сложились между ними и интервьюерами за годы проведения опроса. При этом отмечается изменение атмосферы коммуникативного взаимодействия при опросе методом CAPI. Становится сложнее отвлекаться от анкеты, разговаривать на отвлеченные темы, «сплетничать». В итоге интервьюеры отмечают снижение заинтересованности респондентов в заполнении анкеты и субъективно оцениваемой интервьюерами удовлетворенности респондентов от участия в проекте. С точки зрения соблюдения «стандартизированности» опросного метода это изменение можно расценить как положительное, ведь интервьюеры меньше уходят от анкеты в процессе интервью. Однако сложно прогнозировать, как такое изменение коммуникативной составляющей интервью может отразиться на желании респондента в дальнейшем участвовать в исследовании, что особенно важно в контексте панельных исследований. Таким образом, в случае панельных исследований необходимо рассматривать переход на CAPI еще и с точки зрения проблемы удержания респондентов, а, следовательно, и осыпания панели.
Что касается факторов, влияющих на ожидания интервьюеров относительно успешности перехода на CAPI, оказалось, что эффект возраста полностью опосредуется субъективной уверенностью использования таких технических средств, как компьютер, смартфон и планшет. Это говорит о том, что отношение и ожидания относительно опросов на планшетах в первую очередь зависят от уверенности
пользования гаджетами, а не возраста. Несмотря на то, что первое во многом определяется вторым, можно сделать вывод, что прежде всего необходимо оказывать воздействие на уверенность пользования гаджетами, например, через обучение и тренинги интервьюеров.
Проведенный анализ позволяет выделить важные моменты, касающиеся успешности производимого перехода в рамках проекта РМЭЗ НИУ ВШЭ. Мы полагаем, что содержание и результаты описанного перехода от PAPI к CAPI могут быть крайне полезными в практическом смысле для академических и маркетинговых исследователей, оценивающих возможности использования метода CAPI, а также для методологов и профессионалов опросной индустрии.
Список литературы (References)
Богданов М. Б., Лебедев Д. В. «Главное не бояться!» — воздействие тренингов на ожидания интервьюеров при переходе от PAPI к CAPI // Социология: методология, методы, математическое моделирование (4М). 2018. № . 45. С. 103—132. Bogdanov M. B., Lebedev D. V. (2018) «Do not worry!» — training's impact on interviewers' expectations towards the change from PAPI to CAPI. Sociology: methodology, methods, mathematical modelling (4M). No. 45. P. 103—132.
Богданов М., Лебедев Д. Пользование сетью Интернет в России в 2003—2015 гг. // Вестник Российского мониторинга экономического положения и здоровья населения НИУ ВШЭ (RLMS-HSE). 2017. № 7. С. 129—145.
Bogdanov M. B., Lebedev D. V. (2017) The use of the Internet in Russia from 2003 to 2015. Russian Longitudinal Monitoring Survey—HSE. No. 7. P. 129—145.
Девятко И. Ф., Лебедев Д. В. Глазами интервьюера, глазами респондента : Контуры нового подхода к оценке когнитивной нагрузки при проведении опроса // Мониторинг общественного мнения : Экономические и социальные перемены. 2017. № 5 (141).
Deviatko I. F., Lebedev D. V. (2017) Through the eyes of the interviewer, through the eyes of the respondent: outlining a new approach towards the assessment of cognitive load during the interview. Monitoring of Public Opinion: Economic and Social Changes. No. 5. P. 1—19.
Девятко И. Ф. Разработка подхода к количественной мультимодальной оценке когнитивной нагрузки интервьюеров: результаты пилотного квазиэксперимента // Вестник Российского университета дружбы народов. Серия: Социология. 2018. Т. 18. № 4. С. 627—637.
Deviatko I. F.(2018) Developing an approach to multimodal quantitative assessment of interviewers' cognitive load: First results of a field quasi experiment. RUDN Journal of Sociology. Vol. 18. No. 4. P. 627—637.
Мягков А. Ю., Журавлева И. В. Эффект ожиданий интервьюера в персональном интервью // Социологический журнал. 2004. № . 3—4. С. 6—26. Myagkov A., Zhuravleva I. (2004) Interviewers' expectations effect in personal interview. Sociological journal. No. 3—4. P. 6—26.
Терентьев Е. А., Мавлетова А. М., Косолапов М. С. Интервьюирование с помощью компьютерных технологий в лонгитюдных обследованиях домохозяйств // Мониторинг общественного мнения : Экономические и социальные перемены. 2018. № 3. С. 47—64.
Terentev E. A., Mavletova A. M., Kosolapov M. S. (2018) Computer-assisted personal interviewing for longitudinal household studies. Monitoring of Public Opinion: Economic and Social Changes. No. 3. P. 47—64.
Al Baghal T. et al. (2018) Understanding Society Innovation Panel Wave 10: Results from Methodological Experiments. Understanding Society Working Paper Series 2018—06. URL: https://www.understandingsociety.ac.uk/sites/default/files/ downloads/working-papers/2018-06.pdf (accessed 7May 2019). P. 50.
Baker R. P., Bradburn N. M., Johnson R. A. (1995) Computer-assisted personal interviewing: an experimental evaluation of data quality and cost. Journal of Official Statistics. Vol. 11. No. 4. P. 413—431.
Bateson N., Hunter P. (1991) The Use of Capi for Official British Surveys. Bulletin of Sociological Methodology. Bulletin de Méthodologie Sociologique. Vol. 30. No. 1. P. 16—26.
Bohme M., Stohr T. (2014) Household Interview Duration Analysis in CAPI Survey Management. Field Methods. Vol. 26. No. 4. P. 390—405.
Couper M. P., Burt G. (1992) The Impact of Computer-Assisted Personal Interviewing (CAPI) on Interviewer Performance: The CPS Experience. Proceedings of the Joint Statistical Meeting of the American Statistical Association, Section on Survey Research Methods. P. 189—193.
Couper M. P., Burt G. (1994) Interviewer Attitudes Toward Computer-Assisted Personal Interviewing (CAPI). Social Science Computer Review. Vol. 12. No. 1. P. 38—54.
De Leeuw E. D., Hox J. J., Snijkers G. (1995) The effect of computer-assisted interviewing on data quality. A review. Market Research Society. Vol. 37. No. 4. P. 1—19.
Kozyreva P., Kosolapov M., Popkin B. M. (2016) Data resource profile: The Russia longitudinal monitoring Survey—Higher school of economics (RLMS-HSE) phase II: Monitoring the economic and health situation in Russia, 1994—2013. International Journal of Epidemiology. Vol. 45. No. 2. P. 395—401.
Laurie H. (2003) From PAPI to CAPI: Consequences for data quality on the British Household Panel Study.—ISER Working Paper Series. No. 2003—14.
Martin J. (1993) PAPI to CAPI: the OPCS experience. Essays on Blaise 1993: Proceedings of the Second International Blaise Users Conference, Office of Population Censuses and Surveys, London. P. 96—117.
Mercader H. F.G., Kabakyenga J., Katuruba D. T., Hobbs A. J., Brenner J. L. (2017) Female respondent acceptance of computer-assisted personal interviewing (CAPI) for maternal, newborn and child health coverage surveys in rural Uganda. International journal of medical informatics. Vol. 98. P. 41—46.
Paude, D., Ahmed M., Pradha, A., Dango, R.L. (2013) Successful use of tablet personal computers and wireless technologies for the 2011 Nepal Demographic and Health Survey. Global Health: Science and Practice. Vol. 1. No. 2. P. 277—284.
Schrapler J. P., Schupp J., Wagner G. (2006) Changing from PAPI to CAPI: A longitudinal study of mode-effects based on an experimental design.—DIW Discussion Papers. No. 593.
Shepherd J., Hill D., Bristor, J., Montalvan P. (1996) Converting an Ongoing Health Study to CAPI: Findings From the National Health and Nutrition Examination Survey III. Library of Congress Cataloging-in-Publication Data. P. 159—165.
Singer E., Frankel M. R., Glassman M. B. (1983) The effect of interviewer characteristics and expectations on response. Public Opinion Quarterly. Vol. 47. No. 1. P. 68—83.
Smith T. W., Kim S. (2003) A review of CAPI-effects on the 2002 General Social Survey. National Opinion Research Center.
Tourangeau R., Smith T. W. (1996) Asking sensitive questions: The impact of data collection mode, question format, and question context. Public Opinion Quarterly. Vol. 60. No. 2. P. 275—304.
Tourangeau R., Yan T. (2007) Sensitive questions in surveys. Psychological bulletin. Vol. 133. No. 5. P 859.
Watson N., Wilkins R. (2012) Experimental change from paper-based interviewing to Computer-Assisted interviewing in the HILDA Survey.
Приложение
Гайд интервью с интервьюерами
Как Вы знаете, мы постепенно переходим на опрос с помощью планшетов. В рамках этого интервью мы хотим задать Вам некоторые вопросы относительно Вашего опыта проведения интервью с использованием планшета. Вся информация, которую Вы предоставите будет полностью анонимна и результаты будут представлены только в обезличенном виде.
Вы не против того, что наше интервью будет записываться на диктофон?
Блок 1. Опыт интервьюирования на планшете
Был ли у Вас опыт проведения опросов на планшете до проекта «Россия»? Расскажите, пожалуйста, об этом опыте поподробнее.
Расскажите, пожалуйста, о Ваших впечатлениях о проведении проекта «Россия» на планшете. В чем для Вас заполнение анкеты проекта «Россия» на планшете отличалось от заполнения этой анкеты на бумаге? Может быть какие-то части опроса проекта «Россия» были легче или же наоборот сложнее при проведении его на планшете?
Блок 2. Сложности при проведении интервью на планшете
Возникали ли у Вас какие-либо сложности при проведении интервью на планшете? Какие именно сложности возникали? Как часто возникали различные виды сложностей (спросить про все перечисленные сложности)? Как вы справлялись с этими сложностями (спросить про все перечисленные сложности)?
Блок 3. Реакция респондентов
Как те респонденты, которых вы опрашивали на планшете реагировали на то, что опрос проводился с помощью планшета? Были ли какие-то запоминающиеся случаи, связанные с реакцией респондентов на проведение интервью с помощью планшета? По Вашему мнению, нужно или не нужно переводить опрос проект «Россия» с бумажных анкет на планшеты? Почему Вы считаете, что опрос проект «Россия» нужно/не нужно переводить на планшеты?
Блок 4. Тренинги
Как Вам кажется, чем лично Вам помогли тренинги по проведению интервью с использованием планшета? Насколько, по Вашему мнению, проведенные тренинги помогли избежать возможных технических проблем при проведении опроса с помощью планшета? Насколько тренинги помогли вам почувствовать уверенность при работе с планшетом? И уверенность при проведении интервью с использованием планшета?
Блок 5. Отношение к опросам на планшете
Как вы в целом относитесь к опросам на планшете? Лично вам нравится проводить интервью на планшете или вы предпочитаете бумажные опросы? Почему? Как вам кажется, в чём преимущества, а в чем недостатки проведения опросов
на планшете? А в чём преимущества, и в чем недостатки проведения именно проекта «Россия» на планшете? Спасибо!
Гайд интервью с супервайзерами
Блок 1. Реакция интервьюеров
Как Вам кажется, как интервьюеры отреагировали на переход? Как по Вашему мнению в целом интервьюеры справились с опросами на планшете? В чем для Вас заключается успешность перехода с РАР! на САР! в случае одного отдельно взятого интервьюера? Как Вам кажется, по каким критериям можно оценить успешность перехода?
Блок 2. Сложности
Какие технические и организационные сложности возникали при опросе методом САР!? возникали сложности со стороны интервьюеров? А со стороны респондентов? Если говорить о планах на следующую волну, то, что хорошо было бы изменить, учесть?
Блок 3. Реакция респондентов
Как те респонденты, которых вы опрашивали на планшете реагировали на то, что опрос проводился с помощью планшета? Были ли какие-то запоминающиеся случаи, связанные с реакцией респондентов на проведение интервью с помощью планшета? По Вашему мнению, нужно или не нужно переводить опрос проект «Россия» с бумажных анкет на планшеты? Почему Вы считаете, что опрос проект «Россия» нужно/не нужно переводить на планшеты?
Блок 4. Тренинги
Как Вам кажется, чем лично Вам помогли тренинги по проведению интервью с использованием планшета? Насколько, по Вашему мнению, проведенные тренинги помогли избежать возможных технических проблем при проведении опроса с помощью планшета? Насколько тренинги помогли вам почувствовать уверенность при работе с планшетом? И уверенность при проведении интервью с использованием планшета? Планируете ли Вы каким-либо образом изменить тренинги (возможно, добавить дополнительные блоки)?
Блок 5. Отношение к опросам на планшете
Как вы в целом относитесь к опросам на планшете? Лично вам нравится проводить интервью на планшете или вы предпочитаете бумажные опросы? Почему? Как вам кажется, в чем преимущества, а в чем недостатки проведения опросов на планшете? А в чем преимущества, и в чем недостатки проведения именно проекта «Россия» на планшете?
