CC BY
73
ТЕОРИЯ, МЕТОДОЛОГИЯ И МЕТОДЫ
DOI: 10.14515/monitoring.2018.3.03 Правильная ссылка на статью:
Терентьев Е. А., Мавлетова А. М., Косолапов М. С. Интервьюирование с помощью компьютерных технологий в лонгитюдных обследованиях домохозяйств //Мониторинг общественного мнения : Экономические и социальные перемены. 2018. № 3. С. 47—64. https://doi.org/ 10.14515/monitoring.2018.3.03. For citation:
Terentev E. A., Mavletova A. M., Kosolapov M. S. (2018) Computer-assisted personal interviewing for longitudinal household studies. Monitoring of Public Opinion: Economic and Social Changes. No. 3. P. 47—64. https://doi.org/10.14515/monitoring.2018.3.03.
Е. А. Терентьев, А. М. Мавлетова, М. С. Косолапов
интервьюирование с помощью компьютерных технологий в лонгитюдных обследованиях домохозяйств
ИНТЕРВЬЮИРОВАНИЕ С ПОМОЩЬЮ КОМПЬЮТЕРНЫХ ТЕХНОЛОГИЙ В ЛОНГИТЮДНЫХ ОБСЛЕДОВАНИЯХ ДОМОХОЗЯЙСТВ
COMPUTER-ASSISTED PERSONAL INTERVIEWING FOR LONGITUDINAL HOUSEHOLD STUDIES
ТЕРЕНТЬЕВ Евгений Андреевич — кандидат социологических наук, старший научный сотрудник, Центр социологии высшего образования Института образования, Национальный исследовательский университет «Высшая школа экономики», Москва, Россия. E-MAIL: [email protected] ORCID: 0000-0002-3438-2786
EvgeniyA. TERENTEV1—Cand. Sci. (Soc.), Senior Research Fellow E-MAIL: [email protected] ORCID: 0000-0002-3438-2786
1 National Research University Higher School of Economics (HSE), Moscow, Russia
МАВЛЕТОВА Айгуль Маратовна — кандидат социологических наук, доцент, Департамент социологии; старший научный сотрудник, Международная лаборатория сравнительных социальных исследований, Национальный исследовательский университет «Высшая школа экономики», Москва, Россия. E-MAIL: [email protected] ORCID: 0000-0001-7407-2072
КОСОЛАПОВ Михаил Самуилович — кандидат философских наук, руководитель Центра методологии социологических исследований, заведующий отделом методологии и методов социологических исследований, Институт социологии Федерального научно-исследовательского социологического центра Российской академии наук, Москва, Россия.
E-MAIL: [email protected] ORCID: 0000-0003-0314-9372
Аннотация. В статье представлен аналитический обзор опыта перехода к CAPI (computer assisted personal interviewing) — процедуре сбора данных в лонгитюдных обследованиях домохозяйств с использованием компьютерных технологий. На материале зарубежных исследований рассмотрено, какое влияние CAPI может оказывать на процесс сбора данных и их качество. Показано, что использование процедуры CAPI во многих случаях имеет ряд важных преимуществ перед традиционной бумажной процедурой сбора данных (PAPI, paper and pencil interviewing). Так, использование CAPI приводит к уменьшению длительности полевого этапа обследования, в основном позитивно воспринимается респондентами и интервьюерами, не оказывает негативного влияния
Aigul M. MAVLETOVA1 — Cand. Sci. (Soc.), Associate Professor; Senior Research Fellow
E-MAIL: [email protected] ORCID: 0000-0001-7407-2072
Mikhail S. KOSOLAPOV2 — Cand. Sci. (Philos.), Head of Center for Social Research Methodology, Head of Department of Methodology and Methods of Social Studies E-MAIL: [email protected] ORCID: 0000-0003-0314-9372
1 National Research University Higher School of Economics (HSE), Moscow, Russia
2 Institute of Sociology of the Federal Center of Theoretical and Applied Sociology of the Russian Academy of Sciences, Moscow, Russia
Abstract. The article provides an analytical review of the transition to CAPI (computer-assisted personal interviewing), a computer-based data collection technique used in longitudinal household surveys. Based on a number of foreign studies the paper explores how CAPI affects the data collection process as a whole and the data quality in particular. The study shows that CAPI has a number of advantages over PAPI (paper and pencil interviewing). The use of CAPI is positively perceived by respondents and interviewers; it helps to reduce the fieldwork duration, to avoid errors of routing and does not have a negative compact on response rates and attrition rates. At the same time, some studies suggest that the use of CAPI may lead to additional errors concerning sensitive and open-ended questions. Research-
на уровень достижимости и осыпание панели, а также позволяет избежать ошибок маршрутизации у интервьюеров. Вместе с тем некоторые исследования свидетельствуют о том, что использование САР1 может привести к появлению дополнительных ошибок, связанных, в частности, с нежеланием респондентов раскрывать сенситивную информацию и ухудшением качества фиксирования интервьюерами ответов на открытые вопросы. Кроме того, исследователям необходимо решать ряд довольно сложных вопросов, связанных с программированием вопросников, отбором и тренингом интервьюеров, а также выбором устройств и программного обеспечения для проведения интервью.
ers also have to tackle certain technical problems related to questionnaire programming, interviewer training and selection, and the choice of hardware and software used in CAPI.
Ключевые слова: PAPI, CAPI, качество данных, лонгитюдные обследования домохозяйств
Keywords: PAPI, CAPI, data quality, panel household survey
Благодарность. Статья подготовлена при поддержке Российского Научного Фонда. Грант № 17-78-20172.
Acknowledgment. This work is supported by the Russian Science Foundation under grant no. 17-78-20172.
Введение
Стремительное развитие и распространение компьютерных технологий и интернета существенно повлияло на методологию выборочных социальных обследований как в академической сфере, так и за пределами академических (фундаментальных) исследований (в первую очередь в области государственной статистики). За последние 20 лет процедура проведения интервью с использованием компьютерных технологий (CAPI) и другие виды компьютеризированных и онлайн-исследований стали наиболее востребованными и обсуждаемыми методами сбора эмпирических данных в социальных науках. Технологическое развитие привело к двум основным изменениям.
Во-первых, в традиционных офлайн лонгитюдных исследованиях домохозяйств при сборе данных методом «лицом к лицу», где раньше использовалась исключительно «бумажная» версия вопросника, когда интервьюер заполняет вопросник со слов респондента (PAPI), стали применяться смешанные процедуры сбора данных. В качестве основной замены процедуры опроса с использованием бумажной версии вопросника применяется процедура с использованием CAPI — интервьюер
со слов респондента заполняет стандартизованную электронную опросную форму на компьютере, ноутбуке, планшетном компьютере или мобильном телефоне.
Во-вторых, исследователи переходят к онлайн-опросам, в которых, в отличие от опросов «лицом к лицу», используется процедура самозаполнения вопросника респондентом, для чего создаются панели домохозяйств, участники которых самостоятельно заполняли опросники в онлайн-формате. Примером здесь выступают такие онлайн-панели, как LISS в Нидерландах 1 и GESIS в Германии 2, данные которых широко используются и академическими исследователями, и органами статистики.
Две основные причины активного применения CAPI в лонгитюдных обследованиях домохозяйств как и в других, нелонгитюдных обследованиях,—снижение стоимости и уменьшение длительности полевого этапа по сравнению с традиционной бумажной процедурой сбора данных. Кроме того, в качестве других важных преимуществ CAPI можно назвать (1) расширение возможностей визуализации вопросников и использования различных приложений, исполняющих роль маркеров, кардинально расширяющих тематику опросов, делающую их междисциплинарными, (2) появление дополнительных возможностей контроля над деятельностью интервьюеров и качества заполнения опросников с помощью широкого круга параданных, автоматически собираемых компьютером, (3) в лонгитюдных обследованиях появляется возможность создавать персонифицированные опросники для каждого респондента с учетом данных, полученных от него в предыдущих волнах обследования.
Вместе с тем использование CAPI ставит исследователей перед целым рядом вызовов, связанных с пониманием того, как сама процедура влияет на процесс сбора данных и их качество.
Первое национальное панельное исследование, где использовалась процедура CAPI, — это Исследование рабочей силы в Голландии (Netherlands Labor Force Survey). CAPI используется для проведения этого исследования с 1987 г. [van Bastelaer, Kerssemakers, Sikkel, 1988]. Сегодня уже значительное число лонгитюдных панельных исследований реализуются с использованием процедуры CAPI наряду с другими процедурами сбора данных. В качестве примеров можно назвать такие исследования, как BHPS (сейчас называется «Understanding society»)3, Немецкая социально-экономическая панель (German Socio-Economic Panel) 4 и Австралийская панель дохода домохозяйств и трудовой динамики (Australian Household Income and Labour Dynamics Panel) 5.
За последние десять лет практически все лонгитюдные обследования домохозяйств, реализуемые в Европе и Америке, перешли к одновременному использованию нескольких методов и процедур сбора данных. Например, часть данных собирается с помощью опроса лицом к лицу, другая часть — через онлайн-опрос, еще одна часть — с использованием процедуры CAPI и т. д. Это позволяет, с одной
1 http://www.lissdata.nl.
2 https://www.gesis.org/en/gesis-panel/gesis-panel-home/.
3 https://www.understandingsociety.ac.uk/.
4 http://www.diw.de/en/diw_02.c.221178.en/about_soep.html.
5 http://melbourneinstitute.unimelb.edu.au/hilda.
стороны, увеличить уровень достижимости, предоставляя респонденту возможность выбрать наиболее удобную ему процедуру опроса и, соответственно, уменьшить ошибку, вызываемую неответами, с другой стороны, снизить общий бюджет этапа сбора данных. Однако в данном обзоре нас интересуют именно результаты перехода панельных исследований домохозяйств от PAPI к CAPI.
Взяться за обзор опубликованных работ о проблемах, возникающих при переходе лонгитюдных обследований домохозяйств от PAPI к CAPI, нас подвигла появившаяся возможность проведения эксперимента по внедрению технологии использования CAPI c использованием планшетов на базе единственного в России лонгитюдного обследования домохозяйств — Российского мониторинга экономического положения и здоровья населения НИУ ВШЭ (РМЭЗ НИУ ВШЭ, RLMS-HSE 6). Для РМЭЗ, который с 1992 г. ежегодно собирает данные о домохо-зяйствах методом лицом к лицу, используя процедуру заполнения интервьюерами бумажных вопросников (подробнее о процессе сбора данных РМЭЗ см. [Kozyreva, Kosolapov, Popkin, 2016]), актуально проведение такого методического эксперимента, так как все время проводится работ над повышением качества собираемых данных. Именно для решения этой задачи, наряду с задачей снижения стоимости опроса, и предназначена процедура CAPI, опыта использования которой в России для фундаментальных исследований такого уровня методологической и методической сложности просто нет.
В этой статье мы рассмотрим влияние CAPI на ошибку неответов, на ошибку измерения, а также технические вопросы, которые необходимо учесть при переходе от PAPI к CAPI. Представленный обзор позволяет обобщить результаты предыдущих исследований и наметить направления для дальнейшего изучения преимуществ и недостатков использования процедуры CAPI в панельных исследованиях домохозяйств, понимание которых важно для эффективного использования рассматриваемой процедуры в будущем.
Процессы (процедуры) перехода от PAPI к CAPI в некоторых известных лонгитюдных обследованиях домохозяйств
Значительное число лонгитюдных обследований реализуются разными методами и процедурами сбора данных, в том числе с использованием процедуры CAPI. Некоторые из них переходили от PAPI к CAPI постепенно, проводя предварительно серию экспериментальных исследований, другие обошлись без них.
Рассмотрим историю перехода к CAPI в известных панельных исследованиях домохозяйств.
1) Немецкое социально-экономическое панельное исследование домохозяйств (SOEP) проводится с 1984 г. Экспериментальное исследование, нацеленное на оценку возможности перехода от PAPI к CAPI, было проведено в 1998—1999 гг. на новом доборе репрезентативной выборки, состоявшем из 2000 домохозяйств, который был разделен на две группы с одинаковой структурой. Одна группа — экспериментальная (CAPI), другая — контрольная (PAPI). Было выбрано 125 вторичных единиц выборки по 16 адресов в каждой, 8 из которых были отнесены к экспе-
6 https://www.hse.ru/rlms.
риментальной группе и 8 остальных—к контрольной. Для участия в эксперименте было отобрано 110 интервьюеров. Каждый интервьюер проводил интервью с использованием процедуры CAPI или PAPI в зависимости от того, к какой группе был приписан адрес. Вместе с тем, допускались некоторые исключения, например, в тех домохозяйствах, где исследование должно было проводиться с использованием CAPI. В случае отказа интервьюер мог провести интервью более привычной для домохозяйств PAPI процедурой. Это снижало риск увеличения доли отказов, которое могло возникнуть при использовании только CAPI [Schräpler, Schupp, Wagner, 2006]. Так как экспериментальное обследование на новом доборе домохозяйств 1998 г. проводилось и в следующей волне 1999 г., то опрашивались как новые респонденты, так и уже принимавшие участие в обследовании. С 2000 г. процедура CAPI начала использоваться в основном исследовании и предлагалась наряду с процедурой PAPI, почтовым опросом и анкетой на самозаполнение. Если в 2000 г. с помощью процедуры CAPI было заполнено около 20 % анкет, а с помощью процедуры PAPI около 40 %, то с 2006 г. CAPI становится основной процедурой опроса Немецкой социально-экономической панели домохозяйств. Например, в волне 2015 г. с использованием CAPI было заполнено примерно 60 % анкет, в то время как с использованием PAPI — не более 5 % анкет 7.
2) Британское панельное исследование домохозяйств проводится с 1991 г. по вероятностной стратифицированной национальной выборке. Переход от PAPI к CAPI данной панелью был осуществлен в 1999 г. без проведения экспериментальных исследований [Banks, Laurie, 2000; Laurie, 2003]. Респонденты не могли выбрать другую процедуру сбора данных. Х. Лори отмечает, что переход не оказал негативного влияния на уровень достижимости и не привел к появлению дополнительных смещений, связанных с особенностями процедуры сбора данных [Laurie, 2003]. Переход к CAPI в панели был сопряжен с определенными техническими проблемами, которые были связаны с трудностью программирования сложных опросников, а также разработкой новых процедур валидации и проверки данных.
3) Австралийская панель дохода и трудовой динамики домохозяйств проводится с 2001 г. по вероятностной стратифицированной национальной выборке. Панель использовала процедуры телефонного и личного интервью для сбора данных. В 2007 г. панель оценила возможности перехода от PAPI к CAPI в экспериментальном исследовании. Эксперимент проводился на пилотной выборке, состоящей из 764 домохозяйств [Watson, Wilkins, 2012]. В ходе эксперимента не домохозяйства, но интервьюеры были случайным образом приписаны к одной из двух групп в зависимости от процедуры сбора данных (CAPI или PAPI). Это существенно отличает его от эксперимента SOEP, так как в том эксперименте одни и те же интервьюеры работали и с CAPI, и с PAPI. Использовалась стратифицированная случайная выборка интервьюеров, при построении которой учитывались такие факторы, как регион проживания, тип местности проживания (городская или сельская), опыт проведения панельных исследований и навыки работы с компьютерными технологиями. Результаты эксперимента показали отсутствие негативного влияния использования CAPI на уровень достижимости. Однако использование
7 http://about.paneldata.org/soep/dtc/design.html.
CAPI привело к существенному увеличению длительности заполнения опросника при использовании CAPI по сравнению с PAPI.
Влияние CAPI на уровень достижимости и осыпание панели
Осыпание панели, связанное, в частности, с отказом респондентов от участия в опросах, является одной из наиболее существенных проблем панельных исследований домохозяйств с использованием вероятностных выборок, поскольку оно угрожает репрезентативности полученных данных. Одной из потенциальных причин отказа от участия в опросе при использовании процедуры CAPI может оказаться негативное отношение к компьютерным технологиям или «поломка» привычной ситуации интервьюирования, когда интервьюер заполняет бумажную анкету (вторая причина свойственна только лонгитюдным обследованиям). Поэтому изучение того, как CAPI влияет на уровень отклика в лонгитюдных обследованиях, является важной задачей.
В целом результаты зарубежных исследований показали, что использование процедуры CAPI не увеличивает уровень отказов и не приводит к дополнительному осыпанию панели по сравнению с процедурой PAPI [Martin, O'Muircheartaigh, Curtice, 1993; Heiskanen, Ahlqvist, 1997; Lynn, 1998; Laurie, 2003; Nicoletti, Peracchi, 2005; Schräpler, Schupp, Wagner, 2006, 2010; Watson, Wilkins, 2012]. Однако в ряде исследований было показано, что эффект перехода к CAPI может различаться в зависимости от характеристик интервьюеров. Так, в исследовании Шрэплера, Щупа и Вагнера был зафиксирован значительно более низкий уровень отклика при использовании процедуры CAPI среди интервьюеров с низким уровнем компьютерной грамотности [Schräpler, Schupp, Wagner, 2006, 2010]. Возможно, интервьюеры с более высоким уровнем компьютерной грамотности вели себя более уверенно при проведении интервью и могли показать преимущества использования технологий для сбора данных, чем вызвали большее доверие со стороны домохозяйств. Таким образом, осыпание панели может зависеть от навыков и компетенций интервьюеров по работе с техникой, планшетами и интернетом.
Влияние CAPI на различные составляющие качества обследования
Далее рассмотрим, как CAPI может повлиять на различные составляющие качества обследования по сравнению с PAPI. Мы рассмотрим следующие индикаторы: пропущенные данные; ответы на сенситивные вопросы; ответы на открытые вопросы; длительность интервью; оценка CAPI респондентами и интервьюерами.
1. Пропущенные данные
Возможность нивелирования человеческого фактора, связанного с ошибками интервьюеров при фиксации ответов респондентов в вопроснике, за счет системы автоматического контроля правильности заполнения вопросника интервьюером часто рассматривается в качестве одного из главных преимуществ использования CAPI [Baker, Bradburn, Johnson, 1995]. В частности, правильно запрограммированная электронная опросная форма позволяет проконтролировать сам факт заполнения необходимых полей с помощью настройки автоматической маршрутизации интервьюеров. Это способствует повышению качества данных, а также снижает нагрузку на супервайзеров, контролирующих деятельность интервьюеров.
Результаты проведенных исследований подтверждают значимость этого преимущества [Baker, Bradburn, Johnson, 1995; Laurie, 2003; Schräpler, Schupp, Wagner, 2006]. Так, Бейкер, Брэдберн и Джонсон показали, что использование CAPI по сравнению с PAPI позволяет избежать некорректных пропусков вопросов интервьюерами [Baker, Bradburn, Johnson, 1995]. Схожие результаты были получены в исследованиях Х. Лори на данных Британской панели домохозяйств и Шрэплера, Щупа и Вагнера на данных Немецкой социально-экономической панели. Использование CAPI позволило уменьшить долю недопустимых ответов и пропусков данных из-за ошибок интервьюера [Laurie, 2003; Schräpler, Schupp, Wagner, 2006].
Исследование Уотсон и Уилкинса показало уменьшение доли неответов при использовании CAPI только для некоторых групп вопросов — в первую очередь вопросов о здоровье [Watson, Wilkins, 2012]. Однако вместе с этим наблюдалось увеличение доли ответов «затрудняюсь ответить». В результате общая доля пропущенных данных (неответов и ответов «Затрудняюсь ответить») значимо не различалась в зависимости от процедуры сбора данных. Уменьшение доли неответов объяснялось тем, что электронная опросная форма позволяла исключить ошибки маршрутизации интервьюеров, а увеличение доли неответов и ответов «затрудняюсь ответить» объяснялось особенностями визуального представления вопросов в электронной анкете. Исследователи предположили, что наличие эксплицитно представленного ответа «Затрудняюсь ответить» могло уменьшить усилия со стороны интервьюеров на опрос респондентов, которые не сразу дали содержательный ответ 8. Это подтверждает результаты П. Линна, полученные в отношении срезового исследования «British Social Attitudes» [Lynn, 1998].
Тем не менее в целом результаты предыдущих исследований показывают, что использование CAPI способствует снижению доли пропущенных данных, что является важным преимуществом этой процедуры сбора данных.
2. Ответы на сенситивные вопросы
Использование компьютеров для проведения интервью может существенно влиять на желание респондентов раскрывать личную информацию и/или давать социально желательные ответы. С одной стороны, ввод данных в электронную опросную форму может восприниматься респондентами как гарантирующий большую конфиденциальность по сравнению с записью ответов в бумажную анкету, с другой стороны, может возникнуть эффект «большого брата», связанный с опасениями респондентов относительно конфиденциальности данных [De Leeuw, Hox, Snijkers, 1995; Baker, Bradburn, Johnson, 1995]. В соответствии с этим можно высказать две противоположные гипотезы: (1) использование CAPI приведет к уменьшению доли социально желательных ответов на сенситивные вопросы (например, о доходе и здоровье), а также к уменьшению доли отказов отвечать на подобные вопросы, или (2) использование CAPI, напротив, приведет к увеличению доли социально желательных ответов или ответов «Затрудняюсь ответить» на сенситивные вопросы.
Первая гипотеза подтверждается в исследовании Бейкера, Брэдберна и Джонсона, которые показали небольшие, но статистически значимые различия в ответах респондентов на вопросы об использовании средств контрацепции
8 В бумажной версии вопросника опция «Затрудняюсь ответить» не была представлено эксплицитно. В случае наличия у респондентов затруднений с ответом интервьюер должен был оставить комментарий в специальном поле.
среди молодежи [Baker, Bradburn, Johnson, 1995], а также в исследовании Уотсон и Уилкинсона — в отношении вопросов о потреблении курении [Watson, Wilkins, 2012]. В интервью, которые проводились с использованием CAPI, респонденты чаще отмечали социально нежелательные варианты ответа, по сравнению с теми интервью, которые были проведены с использованием традиционной бумажной анкеты (PAPI). П. Линн также обнаружил, что использование CAPI приводит к увеличению доли респондентов, указавших наименьшие/наиболее негативные или наибольшие/наиболее позитивные значения по шкале в аттитюдных и оценочных вопросах [Lynn, 1998]. Исследователь предположил, что данные различия обусловлены тем, что респонденты воспринимают CAPI как более конфиденциальную процедуру сбора данных. Соответственно, они не боятся давать категоричные оценки. Это может свидетельствовать о большей надежности данных, полученных с использованием CAPI.
Однако другие исследования подтверждают альтернативную гипотезу. Так, в работе Шрэплера, Щупа и Вагнера показано, что использование CAPI может привести к тому, что респонденты будут чаще скрывать сенситивную информацию о себе и домохозяйстве в целом [Schräpler, Schupp, Wagner, 2006]. В частности, они обнаружили статистически значимое увеличение доли неответов на вопросы о валовом и чистом доходе домохозяйства. Х. Лори обнаружил данный эффект только для группы респондентов, которые впервые принимали участие в опросе, при отсутствии значимых различий по выборке в целом [Laurie, 2003]. Исследователь предполагает, что новые участники опроса и так наиболее сложные для интервьюеров, а использование CAPI может усугубить эту проблему за счет за счет снижения качества данных, полученных в ходе интервью с ними.
Кроме того, исследование Уотсон и Уилкинсона зафиксировало, что использование CAPI привело к значимому уменьшению доли респондентов, которые выбрали наиболее негативный вариант ответа на вопросы об удовлетворенности различными аспектами своей жизни, что противоречит описанным ранее результатам, полученным П. Линном [Watson, Wilkins, 2012].
Таким образом, результаты предыдущих исследований неоднозначны. С одной стороны, использование CAPI может способствовать уменьшению доли социально желательных ответов, повышая надежность полученных данных. С другой стороны, результатом перехода к CAPI может быть увеличение доли неответов на сенситивные вопросы.
3. Ответы на открытые вопросы
Использование компьютеров для проведения интервью может влиять на заполнение интервьюерами ответов на открытые вопросы, когда требуется ввести числовые (например, размер дохода) или текстовые (место работы, причины переезда и др.) данные. Учитывая тот факт, что в последнее время для проведения интервью используются портативные и планшетные компьютеры, не имеющие стандартных клавиатур, ввод числовых и текстовых данных требует внимательности со стороны интервьюеров и навыков работы со всплывающими клавиатурами. В связи с этим одно из опасений касается возможного ухудшения качества ответов на открытые вопросы: интервьюеры могут совершать ошибки при вводе данных или сокращать ответы.
Исследование Х. Лори отчасти подтверждает это опасение [Laurie, 2003]. Хотя сравнение ответов на открытые вопросы, требующие ввода числовых данных, не показало существенных различий между CAPI и PAPI, в отношении открытых вопросов, требующих ввода текстовых данных, такие различия были выявлены. Использование CAPI привело к сокращению среднего количества слов, введенных для ответов на вопросы. Однако это не повлияло на структуру распределения ответов после проведения процедуры кодирования открытых вопросов.
Противоположные результаты были получены в исследовании Уотсон и Уилкинсона: использование CAPI привело к значимому увеличению среднего количества знаков в вопросах, требующих введения текстовых данных [Watson, Wilkins, 2012]. Обратный эффект был обнаружен при заполнении текстовых полей в закрытых вопросах с возможностью указать альтернативные варианты ответа (поле «Другое»). Длина ответов, занесенных в поля «Другое», была на 23 % меньше для интервью, проведенных с использованием CAPI. Объясняя данный эффект, исследователи указывают на особенности визуального представления полей «Другое» в компьютерной версии анкеты: эти поля были довольно короткими, что могло спровоцировать интервьюеров не вводить развернутые ответы.
Таким образом, представленные результаты не позволяют прийти к однозначному выводу относительно влияния перехода к CAPI на качество заполнения ответов на открытые вопросы.
4. Длительность интервью
Опросники, используемые в панельных обследованиях домохозяйств, обычно имеют сложную структуру и довольно объемны. Из-за этого проведение каждого интервью требует значительных временных ресурсов. Переход к CAPI может способствовать сокращению длительности интервью за счет автоматизации системы маршрутизации интервьюера в структуре опросника, например, автоматической фильтрации нерелевантных вопросов. Кроме того, автоматическая подстановка имен и других данных, полученных в ходе проведения опроса, в последующие вопросы может также способствовать снижению когнитивных усилий и временных затрат интервьюера [Watson, Wilkins, 2012]. При этом некоторые интервьюеры могут писать на бумаге быстрее, чем печатать на ноутбуке или планшете. В особенности те, кто нечасто пользуются компьютерами в своей повседневной жизни [Martin, O'Muircheartaigh, Curtice, 1993]. Также автоматические системы валида-ции в анкете могут затянуть ход интервью, поскольку для перехода к следующим вопросам интервьюеру необходимо найти и исправить ошибку в данных.
Результаты предыдущих исследований не позволяют прийти к однозначному выводу относительно того, как переход к CAPI влияет на длительность интервью. Так, в ряде исследований было показано существенное увеличение длительности интервью при использовании процедуры CAPI [Martin, O'Muircheartaigh, Curtice, 1993; Watson, Wilkins, 2012], в то время как в других работах был зафиксирован обратный эффект [Baker, Bradburn, Johnson, 1995; Lynn, 1998]. На расхождение в результатах могут влиять особенности программирования опросника, а также характеристики интервьюеров. В частности, Уотсон и Уилкинс отмечают, что на длительность заполнения в значительной степени влияют использование возможностей подстановки данных из предыдущих вопросов или волн, количество
вопросов, представленных на странице, особенности представления табличных вопросов и др. [Watson, Wilkins, 2012].
Длительность интервью также может различаться в зависимости от опыта проведения интервью с использованием процедуры CAPI, уровня компьютерной грамотности, стажа работы и других характеристик интервьюеров. Например, исследование Мартина и коллег показало, что использование интервьюеров, которые имеют опыт проведения интервью с помощью компьютеров, позволяет нивелировать негативный эффект, связанный с увеличением длительности интервью при переходе к CAPI [Martin, O'Muircheartaigh, Curtice, 1993]. Данные эксперимента, проведенного в рамках Австралийской панели домохозяйств, доходов и трудовой динамики, показали, что длительность интервью с помощью процедуры CAPI значительно выше среди интервьюеров, которые имеют достаточно большой опыт работы в данном панельном исследовании [Watson, Wilkins, 2012]. Это объясняется тем, что опытные интервьюеры в традиционном бумажном формате проведения интервью могут использовать различные техники ускорения интервью (например, чтение последующих вопросов параллельно с записью ответов на предыдущие), недоступные при использовании CAPI.
Учитывая неоднозначность представленных результатов, изучение того, как переход к CAPI влияет на длительность интервью, требует проведения дальнейших исследований. При этом необходимо отметить, что при переходе к CAPI исследователь должен внимательно отнестись к разработке дизайна электронной формы анкеты.
5. Оценка CAPI респондентами и интервьюерами
Переход к использованию процедуры CAPI сопряжен с изменением привычной ситуации коммуникации, что может создать неудобства и трудности как для интервьюера, так и для респондента. С одной стороны, интервьюер может столкнуться с проблемами заполнения электронной опросной формы; с другой стороны, респондент может негативно воспринять факт использования компьютера для проведения интервью, например, в связи с общим недоверием к компьютерным технологиям или в связи с восприятием технологий как дополнительной угрозы конфиденциальности данных.
Предыдущие исследования показывают, что и респонденты, и интервьюеры в целом положительно оценивают переход от PAPI к CAPI [Martin, O'Muircheartaigh, Curtice, 1993; De Leeuw, Hox, Snijkers, 1995; Laurie, 2003; Schräpler, Schupp, Wagner, 2006; Watson, Wilkins, 2012]. Так, опрос интервьюеров в рамках Австралийского исследования домохозяйств, доходов и трудовой динамики показал, что только в 2 % интервью было отмечено возникновение каких-либо проблем, решение которых потребовало помощи супервайзеров [Watson, Wilkins, 2012]. Большинство респондентов, которые отпрашивались с использованием компьютеров, также отметили процедуру CAPI в качестве предпочтительной для себя при участии в опросах в будущем [Martin, O'Muircheartaigh, Curtice, 1993]. Те, кто опрашивался с использованием процедуры PAPI, отметили, что у них нет предпочтений относительно того, как они хотели бы, чтобы их опрашивали в будущем (с использованием CAPI или PAPI). Кроме того, было показано, что использование компьютеров позитивно сказывается на качестве кооперации между респондентом и интервьюером [Laurie, 2003; Schräpler, Schupp, Wagner, 2006].
Вместе с тем, результаты исследования Уотсон и Уилкинса на данных Австралийского исследования домохозяйств, доходов и трудовой динамики показали, что респонденты воспринимают ситуацию интервью с использованием компьютеров как более официальную. Это приводит к тому, что респонденты чаще спрашивают у интервьюеров задокументированную информацию об организации, проводящей опрос, и целях исследования [Watson, Wilkins, 2012]. Кроме того, в отличие от исследований в рамках Британской и Немецкой панели домохозяйств [Laurie, 2003; Schräpler, Schupp, Wagner, 2006], Уотсон и Уилкинс показали снижение качества кооперации между интервьюером и респондентом при использовании CAPI, согласно оценке интервьюеров. Однако менее 1 % респондентов указали, что они негативно оценивают переход от PAPI к CAPI.
Таким образом, можно отметить, что результаты предыдущих исследований в целом консистентны и показывают, что переход к CAPI воспринимается респондентами и интервьюерами нейтрально или скорее положительно.
Технические вопросы при переходе от PAPI к CAPI
При переходе от PAPI к CAPI исследователю необходимо учесть такие технические вопросы как выбор устройств для интервью и программного обеспечения; проведение тренингов и отбор интервьюеров; программирование и оптимизация анкеты. Далее рассмотрим эти аспекты более подробно.
1. Выбор устройств и программного обеспечения для проведения интервью
Особое место при переходе панельного исследования от PAPI к CAPI занимает выбор программного обеспечения для составления электронных версий анкет и выбор устройств для проведения интервью. Даже несколько лет назад проблема выбора устройств стояла более остро, чем в настоящее время, так как исследователям необходимо было подобрать ноутбук с учетом веса, емкости аккумулятора и цены, что было непростой задачей [Caviglia-Harris et al., 2012; Banks, Laurie, 2000; Laurie, 2003]. В последние годы с распространением достаточно легких по весу и мощных по техническим характеристикам планшетных компьютеров данная проблема стоит менее остро. Так, например, в Австралийской панели дохода и трудовой динамики домохозяйств с самого начала проведения интервью с помощью процедуры CAPI использовались планшетные компьютеры [Watson, 2010]. Однако при выборе планшетного компьютера исследователю необходимо учитывать вес устройства, размер и разрешение экрана, емкость аккумулятора и удобство его использования интервьюерами. Кроме того, в определенных локациях (селах, отдаленных населенных пунктах) интервьюерам необходимо иметь дополнительный внешний аккумулятор [Caviglia-Harris et al., 2012]. При этом технические характеристики устройства должны подходить под требования программного обеспечения, которое используется в панели.
Британское панельное исследование и Немецкое социально-экономическое панельное исследование использовали программное обеспечение In2itive SPSS для программирования анкет [Banks, Laurie, 2000]. Вследствие того, что Австралийская панель домохозяйств одновременно применяла процедуры CATI (computer-assisted telephone interviewing — процедура компьютеризированного телефонного интервью) и CAPI для сбора данных, исследователи использовали одно программное обеспечение для обеих процедур, а именно Confirmit [Watson, 2010].
2. Переход к CAPI: тренинги и отбор интервьюеров
Одно из распространенных беспокойств при переходе панели домохозяйств к CAPI связано с работой интервьюеров. Не у всех интервьюеров может быть опыт использования компьютеров или планшетов как для личного пользования, так и для работы. Кроме того, не все интервьюеры могут чувствовать себя так уверенно при работе с анкетой на планшете, как при работе с бумажной анкетой, а опыт работы с бумажной анкетой может насчитывать у некоторых интервьюеров десятки лет. Особенная сложность в панельных исследованиях состоит в том, что панели стараются использовать одних и тех же интервьюеров и не набирать новых. Результаты исследований показали, что использование одних и тех же интервьюеров в определенных домохозяйствах на протяжении нескольких лет проведения исследования увеличивает доверие со стороны домохозяйств и снижает осыпание панели [Banks, Laurie, 2000]. Таким образом, особый риск перехода от PAPI к CAPI может состоять в том, что некоторые интервьюеры не справятся с работой на ноутбуках или планшетах. Это, в свою очередь, может привести к отказу от участия домохозяйств в исследовании, если в новой волне к ним придет новый интервьюер.
В Британской панели домохозяйств почти все интервьюеры согласились и смогли перейти на опрос с помощью процедуры CAPI [Banks, Laurie, 2000]. Исследователи отмечают, что больших проблем при переходе к CAPI не возникло, хотя, безусловно, они ожидались. В Австралийской панели 89 из 123 интервьюеров согласились продолжить работу с использованием процедуры CAPI. Одна из причин отказа интервьюеров принять участие в новой волне исследования заключалась как раз в неуверенности при использовании новых технологий, характерной для опытных интервьюеров старшего возраста [Watson, 2010]. Ни один из интервьюеров, работающих в Австралийской панели, не имел предыдущего опыта проведения полевых работ с помощью компьютерных технологий [Watson, 2010].
Особое внимание стоит уделить тренингам интервьюеров. В среднем рекомендуется проводить тренинги, продолжающиеся не менее трех-пяти дней [Caviglia-Harris et al., 2012; Watson, 2010]. Н. Уотсон утверждает, что трехдневный тренинг, проведенный для интервьюеров в рамках Австралийской панели домохозяйств, показал, что именно на третий день интервьюеры начинают себя чувствовать более уверенно при обращении с планшетами. Однако интервьюерам понадобится еще три-четыре недели, чтобы привыкнуть к устройствам. Так, результаты показали, что при сравнении с предыдущими волнами в первые три-четыре недели полевых работ интервьюеры проводят меньшее количество интервью с использованием процедуры CAPI по сравнению с PAPI [Watson, 2010]. Исследователям рекомендуется уделить особенное внимание интервьюерам, которые впервые работают с планшетами для сбора данных, в самом начале полевых работ. В эти дни им должны помогать супервайзеры или другие сотрудники, готовые оказать техническую помощь или проконсультировать в случае возникновения вопросов или проблем в ходе проведения интервью [Caviglia-Harris et al., 2012].
3. Оптимизация анкет
В случае проведения панельного исследования с помощью процедуры CAPI можно оптимизировать компьютерную версию анкеты и использовать данные из прошлой волны. Эту технику в методологии социологических исследований
называют методом «зависимого интервью», когда исследователь может напомнить респондентам информацию из прошлых волн. В Австралийской панели домохозяйств результаты перехода к CAPI показали, что длительность интервью увеличилась по сравнению с процедурой PAPI. Уотсон и Уилкинс отмечают, что результаты подобных экспериментальных исследований могут значительно различаться в зависимости того, как разрабатывается вопросник и как он адаптируется к CAPI [Watson, Wilkins, 2012]. Качество данных и продолжительность заполнения опросника зависят от дизайна вопросов и объема данных, которые подгружаются в анкету из предыдущих волн. Австралийская панель включила такие данные из прошлой волны, как контактные данные респондентов, список членов домохозяйства, даты дней рождений всех членов домохозяйства, занятость респондентов и количество мест работы [Watson, 2010].
В первых волнах с использованием CAPI Британская панель ставила перед собой цель правильно запрограммировать анкеты и сделать их как можно более удобными для интервьюеров. При этом было решено провести минимальное количество валидационных проверок, введенных интервьюерами данных [Banks, Laurie, 2000]. С середины 2000-х годов Британская панель экспериментирует с использованием данных прошлой волны, когда загружается информация о работе респондентов, предыдущих местах работы и финансовом положении. Сначала указывалась информация из предыдущей волны, а далее интервьюер задавал вопрос, произошли ли какие-то изменения у респондента за это время или нет. В случае если какие-то изменения произошли, интервьюер спрашивал, что именно изменилось. Если же изменений не было, интервьюер переходил к следующему блоку вопросов [Jackie, Laurie, Uhrig, 2007]. Результаты показали успешность введения элементов зависимого интервью, когда уменьшается длительность интервью, а также нагрузка на интервьюера и респондента. Однако проблема состоит в том, что нет стандартных способов эффективной оптимизации анкеты. Кроме того, появляется дополнительная сложность, связанная с программированием подобных анкет. Например, результаты исследований показали, что данные из прошлой волны, которые показываются интервьюеру на экране, должны быть проверены исследователями заранее. Если Британская панель проверяла все данные заранее (а это сложная задача, требующая огромных временных усилий со стороны исследователей), то Австралийская панель загружала данные автоматически без предварительной проверки. В итоге некоторые данные оказались несодержательными (например, в данных содержались ошибки ввода из прошлой волны и т. д.) [Watson, 2010].
4. Программирование анкет
В панелях домохозяйств, как правило, присутствует три вида вопросников: общая анкета для домохозяйства, анкета для каждого взрослого члена домохозяйства и анкета для детей. Логика анкет, в особенности анкеты для домохозяйства, сложная. В связи с этим особое внимание исследователю необходимо уделить программированию и тестированию анкет. Так, если в начале перехода к CAPI исследователи Британской панели использовали как можно меньше проверок правильности заполнения вопросника, то с увеличением опыта количество проверок увеличилось. Например, можно ввести проверки на открытые поля: вводит
интервьюер числовые данные или текст. В том случае если предполагается, что должны быть введены числовые данные, а интервьюер ввел текст, на экране отображается ошибка. Это, в свою очередь, увеличивает сложность программирования и тестирования. Так, исследователи утверждают, что программирование и тестирование анкеты для Британского панельного исследования может занять не менее 3,5 месяцев [Jackie, Laurie, Uhrig, 2007]. Не меньше по времени занимает программирование с использованием данных из прошлой волны.
Опыт Австралийской панели показывает, что даже в случае множества проверок при переходе к CAPI никто не застрахован от базовых ошибок в программировании. В анкетах было неправильно запрограммировано четыре фильтра. В итоге некоторые домохозяйства не ответили на целые блоки вопросов. Исследователи заметили это уже в ходе проведения полевых работ. В связи с этим рекомендуется не только тщательно тестировать анкету до полевых работ, но и проверять работу фильтров в первые недели сбора данных [Watson, 2010].
Заключение
Развитие интернета и компьютерных технологий приводит к пересмотру традиционных подходов к методологии проведения национальных лонгитюдных обследований домохозяйств. Альтернативой процедуре PAPI, которая традиционно использовалась для проведения подобных обследований, сегодня является процедура интервьюирования с помощью компьютерных технологий (CAPI). Доступность компактных и мощных планшетных компьютеров, программного обеспечения для разработки электронных опросных форм и практически повсеместное распространение интернета делают использование CAPI привлекательным для организаторов обследований, поскольку позволяет существенно сократить длительность полевого этапа и снизить его стоимость. Вместе с тем опасения вызывает то, что использование компьютеров для проведения интервью может негативно сказаться на желании респондентов участвовать в исследовании и может создать дополнительные трудности для самих интервьюеров. В результате переход к CAPI может привести к снижению уровня отклика, увеличению осыпания в панели и появлению дополнительных ошибок — как следствие, к ухудшению качества данных. Соответственно, принятие решения о переходе от одной процедуры сбора данных к другой должно сопровождаться анализом потенциальных преимуществ и недостатков каждой из процедур, а также решением практических вопросов, связанных с возможным переходом.
Представленный обзор позволяет обобщить и систематизировать опыт перехода к использованию процедуры CAPI в некоторых известных зарубежных национальных панельных обследованиях домохозяйств. Выделяются основные преимущества и недостатки CAPI по сравнению с PAPI, а также обсуждаются некоторые практические вопросы, с которыми могут столкнуться исследователи при переходе к использованию CAPI. Данный обзор может быть полезен как для организаторов проведения панельных обследований домохозяйств, так и для интервьюеров и супервайзеров, вовлеченных в процесс сбора данных. Кроме того, полученные выводы интересны в более широком контексте использования CAPI и других видов компьютеризированных и онлайн-исследований в социальных науках.
В целом известный опыт перехода к использованию процедуры САР1 в панельных обследованиях домохозяйств говорит о том, что использование компьютеров для сбора данных не воспринимается интервьюерами и респондентами негативно. Как респонденты, так и интервьюеры воспринимают переход к САР1 нейтрально или позитивно. В результате использование САР1 не приводит к снижению уровня отклика и дополнительному осыпанию панели. Кроме того, процедура САР1 позволяет сократить долю пропущенных данных за счет автоматического контроля заполнения опросника, что помогает избежать ошибок маршрутизации интервьюеров.
Один из потенциальных недостатков использования САР1 заключается в увеличении длительности заполнения опросника. Некоторые исследования показали, что использование компьютеров может увеличить длительность интервью на 15—20 %. Тем не менее исследования показывают, что эту проблему могут решить предварительные тренинги интервьюеров, а также внимательное отношение к программированию опросников с максимальным использованием возможностей программного обеспечения — автоподстановок данных из предыдущих вопросов и/или волн исследования, правильная настройка системы маршрутизации интервьюеров и т. д.
Неоднозначные выводы также были получены в отношении возникновения дополнительных ошибок измерения. Имеется ряд свидетельств как позитивного, так и негативного эффекта процедуры сбора данных на их качество. Так, в ряде исследований было показано, что использование САР1 позволяет снизить эффект социальной желательности за счет увеличения доли социально неодоб-ряемых ответов, что может говорить о большей валидности данных, полученных с использованием процедуры САР1. Однако другие исследования показали, что использование САР1 может привести к увеличению доли неответов и несодержательных ответов на сенситивные вопросы. Это может свидетельствовать о том, что некоторые респонденты оценивают использование компьютеров как угрозу конфиденциальности данных. Противоречивые выводы были получены также в отношении ответов на открытые вопросы: использование компьютерных опросных форм в одних случаях привело к сокращению введенных данных, в других — к увеличению. Здесь, как и в случае с длительностью интервью, влияние могут оказывать некоторые особенности визуального представления опросников интервьюеру, и внимательное отношение к разработке дизайна анкеты может способствовать тому, что дополнительные ошибки измерения не будут возникать или их значимость будет снижаться.
Для того чтобы максимизировать преимущества использования САР1 и минимизировать его недостатки, исследователи должны обратить особое внимание на решение ряда ключевых вопросов, связанных с практическим внедрением САР1. Во-первых, большое внимание должно быть уделено выбору устройств и программного обеспечения для проведения интервью. Необходимо учитывать вес устройства, размер и разрешение экрана, емкость аккумулятора и удобство его использования интервьюерами. При этом технические характеристики устройства должны подходить под требования программного обеспечения, которое используется в панели. Во-вторых, особое внимание следует обратить на обучение интервьюеров и супервайзеров. Это позволит снять некоторые проблемы, воз-
никающие в ходе работы с компьютерами и электронными опросными формами. В-третьих, исследователи должны ответственно подойти к процессу оптимизации бумажной анкеты к электронной версии и ее программированию. Использование возможностей, связанных с системами автоматического контроля заполнения опросников и подстановкой данных из предыдущих вопросов и предыдущих волн исследования, поможет улучшить качество собираемых данных, снизить нагрузку на интервьюеров и респондентов, сократить длительность интервью.
В заключение важно отметить, что результат перехода к использованию CAPI в панельных исследованиях домохозяйств может различаться в зависимости от характеристик исследования, интервьюеров и используемых электронных опросных форм. В этом контексте дальнейшее экспериментальное изучение влияния процедуры CAPI на процесс сбора данных и их качество представляется крайне важным и ценным.
Список литературы (References)
Baker R. P., Bradburn N. M., Johnson, R. A. (1995) Computer-assisted personal interviewing: An experimental evaluation of data quality and costs. Journal of Official Statistics. Vol. 11. No. 4. P. 413—431.
Banks R., Laurie H. (2000) From PAPI to CAPI: The Case of the British Household Panel Survey. Social Science Computer Review. Vol. 18. No. 4. P. 397—406. https://doi. org/10.1177/089443930001800403.
Caviglia-Harris J., Hall S., Mulllan K., Macintyre C., Bauch S. C., Harris D., Sills E., Roberts D., Toomey M., Cha H. (2012) Improving household surveys through computer-assisted data collection: Use of touch-screen laptops in challenging environments. Field Methods. Vol. 24. No. 1. P. 74—94. https://doi.org/10.1177/1525822X11399704.
De Leeuw E., Hox J., Snijkers G. (1995) The Effect of Computer-Assisted Interviewing on Data Quality. International Journal of Market Research. Vol. 37. No. 4. P. 325—344. https://doi.org/10.1177/147078539503700401.
Jackle A., Laurie H., Uhrig S. C.N. (2007) The introduction of dependent interviewing on the British Household Panel Survey. ISER Working Paper Series. No. 2007—07.
Heiskanen M., Ahlqvist K. (1997) Experiences of Two CAPI-PAPI Comparisons in Finland. IBUC 97. P. 95—146.
Laurie H. (2003) From PAPI to CAPI: consequences for data quality on the British Household Panel Study. Working Papers of the Institute for Social and Economic Research, paper 2003—14. Colchester: University of Essex.
Lynn P. (1998) Data collection mode effects on responses to attitudinal questions. Journal of Official Statistics. Vol. 14. No. 2. P. 1—14.
Martin J., O'Muircheartaigh C., Curtice J. (1993) The use of CAPI for attitude surveys: An experimental comparison with traditional methods. Journal of Official Statistics. Vol. 9. No. 3. P. 641—661.
Nicoletti C., Peracchi F. (2005) Survey response and survey characteristics: Microlevel evidence from the European Community Household Panel. Journal of the Royal Statistical Society: Series A (Statistics in Society). Vol. 168. No. 4. P. 763—781. https:// doi.org/10.1111/j.1467-985X.2005.00369.x.
Kozyreva P. M., Kosolapov M. S., Popkin B. (2016) Data resource profile: The Russia Longitudinal Monitoring Survey—Higher School of Economics (RLMS-HSE) Phase II: Monitoring the Economic and Health Situation in Russia, 1994—2013. International Journal of Epidemiology. Vol. 45. No. 2. P. 395—401. https://doi.org/10.1093/ije/ dyv357.
Schräpler J.-P., Schupp J., Wagner G. G. (2006) Changing from PAPI to CAPI: A longitudinal study of mode-effects based on an experimental design. DIW Discussion Papers. No. 593.
Schräpler J.-P., Schupp J., Wagner G. G. (2010) Changing from PAPI to CAPI: Introducing CAPI in a longitudinal study. Journal of Official Statistics. Vol. 26. No. 2. P. 239—269.
Van Bastelaer A., Kerssemakers F., Sikkel, D. (1988) Data Collection with handheld computers: Contribution to questionnaire design. Journal of Official Statistics. Vol. 4. No. 2. P. 141—154.
Watson N., Wilkins R. (2012) Experimental change from paper-based interviewing to computer-assisted interviewing in the HILDA Survey. Melbourne Institute Working Paper Series. No. 6/12.
Watson N. (2010) The impact of the transition to CAPI and a new fieldwork provider on the HILDA Survey. HILDA Project Discussion paper series. No. 2/10.
