CC BY
56
ТЕОРИЯ И МЕТОДОЛОГИЯ
УДК 303.62:004.382.73/.76
Д.И. Сапонов
МОБИЛЬНЫЕ ОПРОСЫ. ВЛИЯНИЕ СПОСОБА СБОРА ДАННЫХ НА РЕЗУЛЬТАТ
САПОНОВ Дмитрий Игоревич — методолог ВЦИОМ, преподаватель МВШСЭН. E-mail: saponov@wciom.com.
В обзоре рассматривается, как способ сбора данных влияет на результат, долю положительных ответов на вопросы о сексуальном поведении. Тематика опросов соответствует гипотезе о том, что при высокой сенситивности вопросов влияние технологии сбора данных будет ярко выражено.
Ключевые слова: уровень конфиденциальности, искренность ответов, FTFI (личное интервью), SAQ (самозаполнение бумажной анкеты), ACASI (самозаполнение электронной формы на компьютере), PASI, PDA (мобильный опрос - самозаполнение).
В предыдущем обзоре [1] мы рассмотрели различные вопросы, возникающие в связи с проведением мобильных опросов. Было показано, что мобильные опросы имеют ряд плюсов по сравнению с бумажными опросами как с точки зрения пользователей (интервьюеров или респондентов, если речь идет о самозаполнении), так и с точки зрения организаторов исследования. Данные, полученные в результате мобильного опроса, сопоставимы с данными бумажного опроса. Качество данных мобильных опросов выше, чем качество данных аналогичных бумажных опросов. В частности, уровень пропусков в мобильном опросе ниже, чем в аналогичном бумажном.
В настоящей работе мы рассмотрим зависимость результата опроса от метода сбора данных, в центре нашего внимания будут следующие вопросы: каким образом мобильная технология сбора данных влияет на результат опроса; существуют ли систематические смещения, обусловленные применением мобильной технологии? Для решения этой задачи отобраны исследования, в которых мобильная технология сравнивается с бумажной технологией сбора данных. Если добавить выбор между самозаполнением и интервью, то мы получим четыре способа сбора данных:
— самозаполнение бумажной анкеты;
— самозаполнение электронной формы на мобильном устройстве;
— личное интервью с заполнением бумажной анкеты;
— личное интервью с заполнением электронной формы.
В обзоре сравниваются указанные технологии сбора данных, за исключением личного интервью с заполнением электронной формы.
© Сапонов Д. И., 2012
45
Сравнение результатов, полученных в бумажном и мобильном опросе
По данным исследований, сравнивающих качество данных бумажных и мобильных опросов, как правило, качество данных мобильных опросов оказывается выше. В худшем случае качество собранных данных такое же, как и в бумажном опросе [8]. Целый ряд исследований доказывает сопоставимость данных бумажных и мобильных опросов [5, 12, 22, 28].
В данном обзоре мы сфокусируемся на небольшом сегменте всевозможных мобильных опросов: опросы по темам, по которым респондент склонен утаивать и сознательно искажать информацию (сенситивные опросы). В нашем обзоре речь пойдет о сексуальном поведении. В такого рода опросах актуальна проблема определения искренности респондента, уровня конфиденциальности исследования, смещений, связанных со стремлением давать социально одобряемые ответы. Наша гипотеза состоит в том, что при высокой сенситивности вопросов влияние технологии сбора данных на результат будет ярко выражено.
В 2008 г. было проведено методическое исследование удобства (usability) применения мобильных устройств в сборе данных о здоровье и поведении среди городской молодежи. В процессе исследования параллельно собирались два набора данных: о здоровье и поведении и о параметрах исследования (метаданные) [18].
В исследовании сделан акцент на сборе сенситивных данных. Автор опирается на множество исследований возможности сбора сенситивных данных с помощью мобильных устройств [3, 7, 9, 10, 11, 12, 15, 19, 21, 25, 29, 30, 31].
Такие универсальные преимущества мобильных опросов, как портативность, небольшая стоимость, энергоэффективность, отмечаются почти в каждом исследовании. Специфическим параметром, на который обращает внимание автор, является чувство приватности (конфиденциальности), возникающее в мобильном опросе из-за небольшого экрана мобильного устройства. Возможно, с этим связано широкомасштабное применение мобильных опросов в медицине и здравоохранении. Исследование позволило определить оптимальное соотношение между уровнем затруднений в заполнении и необходимым объемом инструкций и пробных вопросов.
В работе Шерр приведен систематический (с указанием критериев отбора) обзор работ, в которых проводилось сравнение результатов мобильного бумажного и компьютерного опросов. Все опросы проводились в развивающихся странах и касались сексуального поведения [17]. Приведем перечень критериев, по которым отбирались статьи для этого систематического обзора:
— статья опубликована не ранее 1980 г.;
— опрос проведен в развивающейся стране;
— опрос касается сексуального поведения;
— одновременно рассматривается два или более способа сбора данных.
Каждый из этих критериев точно определен и сформулирован в явном виде [17, p. 364]. После анализа исходного массива статей, который насчитывал 6824 источника, было отобрано 28 статей. Результаты анализа отобранных статей сведены в таблицу с единым
46
набором критериев: автор, дата публикации, регион проведения исследования, описание выборки, дизайн исследования и ключевые показатели, сравниваемые способы сбора данных, способы проверки (повторный опрос, медицинские анализы), результаты.
Сокращения, принятые в этом обзоре с расшифровкой, приводятся в таблице 1.
Таблица 1 Сокращения, принятые в проанализированных источниках, обозначающие различные методы сбора данных
Сокращение Что понимается под сокращением Комментарий
SAQ self-administered questionnaire using paper and pen. Самозаполнение бумажной анкеты
ACASI audio computer-assisted survey instrument, where questions and responses are heard through headphones and respondent enters their response through the computer (desktop or laptop) Текст вопросов прослушивается респондентом через наушники. Самозаполнение электронной формы на компьютере
PASI palm-assisted self-interviewing which is a derivative of ACASI using a hind-held minicomputer or palmtop Самозаполнение электронной формы на мобильном устройстве (palm)
FTFI face-to-face interview where trained interviewer asks questions and records respondent's answers Личное интервью, интервьюер зачитывает вопросы и заносит ответы в бумажную анкету
PDA personal digital assistant is a hand-held computer where questions and responses are read (andbr heard) and respondents enter responses directly into computer Мобильный опрос с самозаполнением электронной формы
Приведем несколько примеров сопоставления результатов опросов и использования различных технологий сбора данных. Пропуски в данных обнаружены в 80% бумажных анкет при самозаполнении, в 14% анкет — в случае интервью. При самозаполнении электронной формы на мобильном устройстве пропусков и непоследовательных данных не обнаружено [21].
Доля социально одобряемых ответов в интервью возрастает по сравнению с самозаполнением электронной формы на мобильном устройстве. Так, ответы об использовании контрацепции во время последнего полового акта (это социально одобряемое поведение) FTFI = 64.7%; SAQ = 41.2%; ACASI = 53.8%; PASI = 43.3% [21].
Ниже приведено сравнение доли положительных ответов (табл. 2). В данной таблице охватываются четыре технологии сбора данных: интервью, самозаполнение бумажной анкеты, самозаполнение электронной формы, мобильный опрос.
Важным результатом является установление значительных различий в доле положительных ответов на сенситивные вопросы в зависимости от способа сбора данных. При этом значимых различий между компьютерным и мобильным опросом не обнаружено.
По возрастанию доли социально неодобряемых ответов технологии сбора данных можно расположить в следующем порядке: интервью, самозаполнение бумажной анкеты, мобильный опрос (самозаполнение). Можно предположить, что с возрастанием доли социально неодобряемых ответов возрастает искренность (честность) ответов.
Таблица 2 Сопоставление долей положительных ответов на сенситивные вопросы при разных методах сбора данных
Вопрос FTFI интервью SAQ (самозаполнение бумажной анкеты) ACASI * (самозаполнение электронной формы на компьютере) PASI, PDA Мобильный опрос (самозаполнение)
Был ли у вас когда-либо оральный секс? 13,2 Доля ответов в этой колонке укладывается между интервью и самозаполнением электронной формы 42,9 37,3
Вы когда-либо получали деньги за секс? 0,9 5,5 6,7
Вы когда-либо платили за секс? 2,5 7,1 8,2
Вы переносили венерические заболевания? 2,5 8,0 6,7
Был ли у вас секс во время беременности? 7,6 11,7 11,0
* Различия между самозаполнением электронной формы на компьютере и мобильным опросом незначимы. Источник: Palmtop-assisted self-interviewing for the collection of sensitive behavioral data: randomized trial with drug use urine testing [21].
Основным средством сравнения доли положительных и отрицательных ответов на один и тот же вопрос при разных технологиях сбора данных является отношение шансов (ОШ) (Odds ratio — OR). Дадим интерпретацию данному термину. Пусть имеются два опроса: опрос 1 (О1) и опрос 2 (О2), которые мы хотим сравнить по результатам ответа на один и тот же вопрос. В ходе опроса выяснено, что в первом опросе доля положительных ответов на вопрос Х — 80% , а доля отрицательных ответов — 20%. Во втором опросе доля положительных ответов на вопрос X — 60%, а отрицательных — 40%. Поэтому ОШ (О1, О2) положительных ответов к отрицательным равно (80/20)/(60/40) = 4/1,5 = 2,67.
Приведем пример сопоставления результатов опросов, полученных с использованием различных технологий сбора данных, на основе ОШ.
Таблица 3 Сопоставление результатов опросов, полученных с использованием различных технологий сбора данных, на основе отношения шансов
Вопрос OR — Отношение шансов
Секс с иностранцами 4,25
Принуждение к сексу 3,35
Болели заболеваниями, передающимися половым путем 2,52
Женщины (имели более одного партнера) 2,35
Мужчины (был ли у вас когда-либо секс) OR =0,58
Женщины (был ли у вас когда-либо секс) OR =0,66
Сравниваются ACASI и FTFI. Доля при ACASI выше, если OR>1. Источник: Langhaug L. F., Lorraine S., Cowan F. M. How to improve the validity of sexual behaviour reporting: systematic review of questionnaire delivery modes in developing countries [17].
Результаты
— Данные, полученные в результате мобильного опроса, сопоставимы с данными бумажного опроса. Качество данных мобильных опросов выше, чем качество данных аналогичных бумажных опросов. В частности, уровень пропусков в мобильном опросе ниже, чем в аналогичном бумажном опросе.
— Мобильные опросы с самозаполнением широко используются для сбора сенситивных данных. Субъективное ощущение уровня конфиденциальности в мобильных опросах повышается, это связано с особенностями технологии и небольшим размером экрана. Отсюда широкое распространение данной технологии в медицине. В этой области накоплен богатый методический опыт применения данной технологии сбора данных [3, 7, 9, 10, 11, 12, 15, 19, 21, 25, 29, 30, 31].
— Важным результатом является установление значительных различий в доле положительных ответов на сенситивные вопросы в зависимости от способа сбора данных. По возрастанию доли социально неодобряемых ответов технологии сбора данных можно расположить в следующем порядке: интервью, самозаполнение бумажной анкеты, мобильный опрос (самозаполнение). Можно предположить, что с возрастанием доли социально неодобряемых ответов возрастает искренность (честность) ответов.
— Мобильный опрос сохраняет традиционные плюсы самозаполнения бумажной анкеты (искренность ответов), но лишен важного недостатка — высокого уровня пропусков. Уровень пропусков в мобильном опросе минимален.
Литература
1 Сапонов Д.И. Мобильные опросы в социологических исследованиях // Мониторинг общественного мнения. 2011. № 4 (104). С. 64-73.
2 Application of handheld devices to field research among underserved construction worker populations: a workplace health assessment pilot study / Caban-Martinez A. et al. // Environmental health : a global access science source. 2011. 10:27. URL: http://www.pubmedcentral.nih.gov/articlerender.fcgi?artid=3078837&tool=pmcentr ez&rendertype=abstract.
3 Brief report: methods for collecting sexual behaviour information from South African adolescents—a comparison of paper versus personal digital assistant questionnaires / Jaspan H. B. et al. // Journal of Adolescence. 2007. Vol. 30. Issue 2. P. 353-59.
4 Childs J.H. Analyzing interviewer/respondent interactions while using a mobile computer-assisted personal interview device // Field Methods. 2006. Vol. 18. No 3. P. 335-351. URL: http://fmx.sagepub.com/cgi/doi/10.1177/1525822X05286018.
5 Comparing observational software with paper and pencil for time-sampled data: a field test of Interval Manager (INTMAN) / Tapp J. et al. // Behavior research methods. 2006. 38 (1). P. 165-169. URL: http://www.ncbi.nlm.nih.gov/pubmed/16817527.
49
6
7
8
9
10
11
12
13
14
15
16
17
18
19
Couper M.P., Nicholls W.L. II. The history and development of computer assisted survey information collection methods // Computer assisted survey information collection / ed. by M.P. Couper et al. New York : John Wiley, 1998. P. 1-17. Enhancing survey data collection among youth and adults: Use of handheld and laptop computers / Bobula J. A. et al. // Computers, Informatics, Nursing. 2004, Vol.
22. P. 255-265
Evaluation of a computerized field data collection system for health surveys / Forster, D. et al. // Bulletin of the World Health Organization. 1991. Vol. 69 (1). P. 107-111. Gravlee C.C. Mobile computer-assisted personal interviewing with handheld computers : the entryware system 3.0 // Field methods. 2002. Vol. 14. No 3. P. 322-336. URL: http://fmx.sagepub.com/cgi/doi/10.1177/1525822X0201400305. Handheld computers for direct observation of the social and physical environment / Gravlee C.C. et al. // Field methods. 2006. Vol. 18. No 4. P. 382-397. URL: http://fmx.sagepub.com/cgi/doi/10.1177/1525822X06293067. Handheld computers for self-administered sensitive data collection: a comparative study in Peru / Bernabe-Ortiz A. et al. // BMC medical informatics and decision making. 2008. 8:11. URL:
http://www.pubmedcentral.nih.gov/articlerender.fcgi?artid=2323371&tool=pmcentr ez&rendertype=abstract.
Handheld computers: a feasible alternative to paper forms for field data collections / Fletcher L.A. et al. // Evaluation review. 2003. 27 (2). P. 165-178. URL: http://erx.sagepub.com/cgi/doi/10.1177/0193841X02250527. Heer, W.F. de. The use of handheld computers in social surveys of the Netherlands Central Bureau of Statistics // The Statistician. 1991. No. 40. P. 125-138. Hourcade J, Berkel T. Simple pen interaction performance of young and older adults using handheld computers // Interacting with Computers 2008. 20 (1). P. 166-183. URL: http://linkinghub.elsevier.com/retrieve/pii/S095354380700080X. Inconsistent reports of sexual intercourse among South African high school students / Palen L.A. et al // Journal of Adolescent Health. 2008. 42. P. 221-227. Jones P., Drury R., McBeath J. Using gps-enabled mobile computing to augment qualitative interviewing: two case studies // Field methods. 2011. Vol. 23. No 2. P. 173-187. URL: http://fmx.sagepub.com/cgi/doi/10.1177/1525822X10388467. Langhaug L.F., Sherr L., Cowan F.M. How to improve the validity of sexual behaviour reporting: systematic review of questionnaire delivery modes in developing countries // Tropical medicine & international health . 2010. 15(3). P. 362-381. URL: http://www.ncbi.nlm.nih.gov/pubmed/20409291.
McClamroch K.J. 2011. Evaluating the Usability of Personal Digital Assistants to Collect Behavioral Data on Adolescents with Paradata // Field Methods. 2011. Vol.
23. No 3. P. 219-242. URL: http://fmx.sagepub.com/cgi/doi/10.1177/1525822X11405826.
Nusser S.M., Thompson D.M., DeLozier, G.S. Using personal digital assistants to collect survey data // Proceedings of the Section on Survey Research Methods. Chicago: American Statistical Association, 1996. P. 780-785.
20 Outcome assessment via handheld computer in community mental health: consumer satisfaction and reliability // Goldstein L. et al. // The journal of behavioral health services & research. 2011. 38 (3). P. 414-423. URL: http://www.ncbi.nlm.nih.gov/pubmed/21107916.
21 Palmtop-assisted self-interviewing for the collection of sensitive behavioral data: randomized trial with drug use urine testing / Griensven F. van et al. // American journal of epidemiology. 2006. 163 (3). P. 271-278. URL: http://www.ncbi.nlm.nih.gov/pubmed/16357109.
22 Paper or plastic? Data equivalence in paper and electronic diaries / Green A. S. et al. // Psychological methods. 2006. 11 (1). P. 87-105.
23 Paperless registration during survey enumerations and large oral cholera mass vaccination in Zanzibar, the United Republic of Tanzania / Ali M. et al. // Bulletin of the World Health Organization. 2010. Vol. 88 (7). P. 556-559. URL: http://www.pubmedcentral.nih.gov/articlerender.fcgi?artid=2897987&tool=pmcentr ez&rendertype=abstract.
24 Raento M., Oulasvirta A., Eagle N. Smartphones : an emerging tool for social scientists // Sociological Methods & Research. 2009. 37 (3). P. 426-454. URL: http://smr.sagepub.com/cgi/doi/10.1177/0049124108330005.
25 Rates of missing responses in personal digital assistant (PDA) versus paper assessments / Palen L.-A. et al. // Evaluation review. 2008. Vol. 32. No 3. P. 257272. URL: http://www.ncbi.nlm.nih.gov/pubmed/18456877.
26 Sandars J., Dearnley C. Twelve tips for the use of mobile technologies for work based assessment // Medical teacher. 2009. 31 (1). P. 18-21. URL: http://www.ncbi.nlm.nih.gov/pubmed/18825564.
27 Stewart T.V., Werner J.J., Dickinson L.M. Data collection outcomes comparing paper forms with PDA forms in an office-based patient survey // Annals Of Family Medicine.
2008. P. 154-161.
28 Treadwell I. The usability of personal digital assistants (PDAs) for assessment of practical performance // Medical Education. 2006. Vol. 40. P. 855-861.
29 Use of audio-enhanced personal digital assistants for school-based data collection / Trapl E.S. et al. // Journal of Adolescent Health. 2005. Vol. 37. P. 296-305.
30 Use of inexpensive technology to enhance adolescent health screening and counseling / Olson A.L. et al // Archives of Pediatrics and Adolescent Medicine.
2009. 163. P. 172-77.
31 Using PDAs for data collection / Guadagno L. et al. // Applied Nursing Research. 2004. Vol. 17. P. 283-291.
