CC BY
135
ТЕОРИЯ, МЕТОДОЛОГИЯ И МЕТОДЫ
DOI: 10.14515/monitoring.2016.5.01 Правильная ссылка на статью:
Терентьев Е. А., Нефедова А. И., Груздев И. А. Влияние визуализации опросного инструментария в онлайн-исследованиях на качество данных // Мониторинг общественного мнения : Экономические и социальные перемены. 2016. № 5. С. 1—15. For citation:
Terentiev E. A., Nefedova A. I., Gruzdev I. A. Visualization of questionnaire in online surveys: how different design features impact the data quality. Monitoring of Public Opinion : Economic and Social Changes. 2016. № 5. P. 1—15.
Е. А. Терентьев, А. И. Нефедова, И. А. Груздев ВЛИЯНИЕ ВИЗУАЛИЗАЦИИ ОПРОСНОГО ИНСТРУМЕНТАРИЯ В ОНЛАЙН-ИССЛЕДОВАНИЯХ НА КАЧЕСТВО ДАННЫХ
ВЛИЯНИЕ ВИЗУАЛИЗАЦИИ ОПРОСНОГО ИНСТРУМЕНТАРИЯ В ОНЛАЙН-ИС-СЛЕДОВАНИЯХ НА КАЧЕСТВО ДАННЫХ
ТЕРЕНТЬЕВ Евгений Андреевич — ведущий аналитик Центра внутреннего мониторинга Национального исследовательского университета «Высшая школа экономики», Москва, Россия. E-MAIL: eterentev@hse.ru ORCID: 0000-0002-3438-2786
НЕФЁДОВА Алёна Игоревна — аспирант департамента социологии факультета социальных наук, Национального исследовательского университета «Высшая школа экономики», Москва, Россия; стажер-исследователь Лаборатории экономики инноваций Национального исследовательского университета «Высшая школа экономики», Москва, Россия. E-MAIL: anefedova@hse.ru ORCID: 0000-0002-6930-6281
VISUALIZATION OF QUESTIONNAIRE IN ONLINE SURVEYS: HOW DIFFERENT DESIGN FEATURES IMPACT THE DATA QUALITY
TERENTIEV Evgeny Andreevich1 — Leading Analyst
E-MAIL: eterentev@hse.ru ORCID: 0000-0002-3438-2786
NEFEDOVA Alena Igorevna1—Postgraduate Student,, Research Assistant E-MAIL: anefedova@hse.ru ORCID: 0000-0002-6930-6281
1 National Research University Higher School of Economics, Moscow, Russia
ГРУЗДЕВ Иван Андреевич — директор Центра внутреннего мониторинга Национального исследовательского университета «Высшая школа экономики», Москва, Россия. E-MAIL: igruzdev@hse.ru ORCID: 0000-0003-3939-7909
Аннотация. Онлайн-формат сбора опросных данных предоставляет гораздо больше возможностей для визуализации инструментария по сравнению с традиционным «бумажным» форматом, но одновременно и увеличивает риски. Отсюда необходимость исследовать, как различные элементы дизайна анкеты влияют на качество собираемых данных. В статье представлен обзор российских и зарубежных исследований, посвященных ответу на этот вопрос. Рассматриваются следующие аспекты: визуальное оформление экрана (выбор цветовых решений, использование индикаторов продвижения в прохождении анкеты), формат представления оценочных вопросов (радиокнопка, слайдер, дрэг-энд-дроп), визуализация открытых вопросов (размер окна для ввода текстовой информации, количество окон, использование поясняющих и мотивирующих предисловий к вопросам), формат представления несодержательных вариантов ответа (использование/ неиспользование несодержательных альтернатив, способы визуализации). Даются рекомендации по дизайну анкеты для получения более качественных и полных данных.
Ключевые слова: онлайн-исследова-ния, качество данных, визуализация опросного инструментария, оценочные вопросы, открытые вопросы, несодержательные варианты ответа
GRUZDEV Ivan Andreevich1 — Director E-MAIL: igruzdev@hse.ru ORCID: 0000-0003-3939-7909
1 National Research University Higher School of Economics, Moscow, Russia
Abstract. Online mode of data collection provides much more opportunities for the visualization of the questionnaire tools than the traditional paper format. Hence, there is a need to explore how various elements of the questionnaire design affect the quality of data collected via online surveys. This article presents an overview of the Russian and foreign studies devoted to this topic. We consider the following aspects: (1) visual design of the screen (colors, use of progress indicators showing the completion of on-line questionnaires), (2) layout of rating questions (radio button, slider, drag-and-drop), (3) visualization of open-ended questions (size of text input box, number of windows, use of explanatory and motivating introductions to questions), (4) presentation of non-substantive response options (use/non-use of non-substantive options, visualization tools). In conclusion, we make a number of recommendations concerning the questionnaire design that can help researchers make their surveys more effective and obtain a complete and high quality data.
Key words: online surveys, data quality, visualization of questionnaire tools, rating questions, open-ended questions, non-substantive response options
Введение
С повсеместным распространением сети Интернет все более широкое применение получает онлайн-формат проведения социологических опросов, когда место традиционной бумажной анкеты занимает электронная опросная форма. Этот способ сбора данных обладает рядом существенных преимуществ, связанных, например, с облегчением доступа к некоторым группам респондентов, снижением стоимости полевого этапа исследования, автоматизацией процесса формирования баз данных, контролем процесса заполнения анкеты, возможностью индивидуальной адаптации вопросника, исходя из логики предыдущих ответов респондента (фильтрация нерелевантных вопросов), возможностью использования аудио- и видеоматериалов и др. Вместе с тем, он ставит перед исследователями новые вызовы, связанные с трудностями достижения высокого уровня отклика, контроля и проверки качества получаемых данных, удержания респондентов в процессе заполнения анкеты и др. [Couper, 2000; Fricker, Schonlau, 2002; Wright, 2005]. Одной из важных проблем является также влияние дизайна анкеты на качество получаемых данных.
Визуализация опросного инструмента и использование различных форматов вопросов в онлайн-исследованиях имеет еще большее влияние на качество данных, чем в традиционных исследовательских форматах, таких как бумажное анкетирование, почтовые опросы и телефонные интервью [Couper, Traugott, Lamias, 2001; Dillman, Smyth, 2007]. Значительное увеличение возможностей для визуализации инструментария, с одной стороны, позволяет сделать процесс заполнения анкеты более интерактивным, простым и удобным для респондента, с другой стороны, ставит перед исследователями новые задачи, связанные с пониманием того, как различные элементы дизайна влияют на качество получаемых данных.
Ключевую роль для получения качественных данных играет выбор оптимального дизайна анкеты. В статье содержится обзор результатов экспериментов 1, которые могут быть использованы при подготовке инструментария онлайн-опро-сов. Мы рассмотрим следующие аспекты: (1) визуальное оформление экрана, (2) формат представления оценочных вопросов, (3) визуализация открытых вопросов, (4) формат представления несодержательных альтернатив.
Визуальное оформление экрана
Визуальное оформление экрана играет важную роль в дизайне онлайн-опросного инструмента. Ряд экспериментальных исследований посвящены выбору цветовых решений и шрифтов, а также использованию индикаторов продвижения в прохождении анкеты, размещению кнопок навигации и другим вопросам. Аналогично бумажному, онлайн-формат проведения опроса предполагает решение исследователем ряда вопросов, связанных с типографикой (определение размера, цвета и типа начертания шрифта и т. д.). Однако есть и специфичные для онлайн-среды возможности, связанные с широкой вариативностью шаблонов, использованием
1 В обзоре использованы тексты, посвященные различным аспектам дизайна онлайн-анкет и размещенные в электронных базах научной периодики JSTOR, Annual Reviews, Science Direct, EBSCO, ProQuest, Wiley Online Library, Taylor & Francis, Sage Journals Online, Springer Links, Oxford Journals, Cambridge Journals Online и НЭБ. Поиск статей осуществлялся по ключевым словам «web surveys», «online surveys», «questionnaire layout», «visual design», «progress indicator», «non-substantive options», «answer boxes», «open-ended questions», «sliders», «scalar questions» и др.
анимации, элементов геймификации и др. Здесь мы остановимся на двух ключевых вопросах: цветовых решениях и использовании индикатора продвижения.
Ряд экспериментов, проведенных зарубежными исследователями, показали, что выбор фонового цвета для анкеты может оказывать существенное влияние на восприятие анкеты респондентами и, как следствие, влиять на долю респондентов, не завершивших заполнение анкеты [Dillman et al., 1998; Gorn at al., 2004; Haer, Meidert, 2013].
Так, в исследовании Д. Дилманна и коллег [Dillman et al., 1998] было показано, что, несмотря на то, что яркие цвета могут привлекать внимание и сближать опросный инструмент с развлекательным контентом в Интернете, более традиционные сочетания (например, черный шрифт на белом фоне) позволяют снизить уровень отказов, уменьшить среднее время заполнения анкеты, а также получить более развернутые ответы на открытые вопросы. Исследователи предположили, что это может быть связано с тем, что традиционный черно-белый формат представления опросного инструментария является конвенциональным и более простым для восприятия респондентами.
В исследовании Горна и коллег [Gorn at al., 2004] делается вывод о том, что от цвета фона зависит ощущение времени, потраченного на заполнение анкеты. Так, голубой цвет оказывается более удачным, чем желтый и красный, с точки зрения субъективных оценок респондентов в отношении затрат времени на участие в опросе и общего ощущения от заполнения анкеты. Этот эффект объясняется тем, что светлые неяркие цвета способствуют тому, что респонденты чувствуют себя более расслабленно в процессе заполнения анкеты, и это позитивно влияет на восприятие опросного инструмента и временных затрат на его заполнение 2.
Вместе с тем, результаты эксперимента Хаера и Мейдерта показывают, что использование более ярких цветов (например, красного) на первом экране при использовании стандартного черно-белого оформления на последующих экранах может привести к небольшому снижению доли тех, кто бросил заполнение анкеты на всех экранах, кроме первого [Haer, Meidert, 2013]. Тем не менее, большинство исследователей рекомендуют при выборе цветовых решений руководствоваться соображениями умеренности и с осторожностью использовать яркие цвета, отдавая предпочтение классическим решениям (белый или светлый фон, черный шрифт), поскольку такой формат представления опросного инструментария является конвенциональным для респондентов [Couper, 2008; Dillman, Smyth, Melani, 2011].
Противоречивые результаты экспериментальных работ не позволяют прийти к однозначному выводу относительно того, нужно ли представлять на экране индикатор продвижения, отображающий, на каком этапе заполнения анкеты находится респондент. В ряде исследований было показано, что использование индикаторов продвижения приводит к снижению доли незаполненных анкет [Couper, Traugott, Lamias, 2001], другие исследования обнаружили противоположный эффект [Crawford, Couper, Lamias, 2001].
2 Авторы статьи в качестве объяснения апеллируют к результатам психологических экспериментов о влиянии цвета на ощущение расслабленности-напряжения и показывают, что неяркие светлые тона настраивают людей на более спокойный лад, и они ощущают, что время течет быстрее. Когда люди находятся в состоянии напряжения, их субъективные оценки временных затрат на прохождение анкеты становятся более высокими.
В нескольких работах было показано отсутствие статистически значимых различий в уровне отсева респондентов в процессе заполнения анкеты в зависимости от наличия/отсутствия индикатора продвижения [Heerwegh, Loosveldt, 2006; Yan et al., 2011]. В качестве объяснений таких расхождений исследователи указывают на то, что на характер влияния индикатора продвижения могут влиять дополнительные факторы: длительность заполнения анкеты, заявленное в приглашении к участию в опросе ожидаемое время заполнения анкеты, тип вопросов и др. [Crawford, Couper, Lamias, 2001; Heerwegh, Loosveldt, 2006; Yan et al., 2011]. Так, индикатор продвижения повышал долю незаполненных анкет при использовании большого количества открытых вопросов [Crawford, Couper, Lamias 2001], при указании большего ожидаемого времени заполнения анкеты [Heerwegh, Loosveldt, 2006; Yan et al., 2011], а также в случаях, когда заполнение анкеты требовало больших временных затрат [Yan et al., 2011]. Это может означать, что при значительных временных затратах индикатор продвижения оказывает обескураживающий эффект.
Кроме того, на процесс заполнения анкеты могут влиять настройки индикатора продвижения. В работе Конрада и др. [Conrad et al., 2010] рассматриваются результаты двух экспериментов. В первом сопоставляются три принципа работы индикатора: (1) линейный, когда каждый вопрос вносит равный вклад в прохождение анкеты, (2) от быстрого к медленному, когда вопросы в начале составляют сравнительно большую долю от ста процентов индикатора, чем вопросы в конце, (3) от медленного к быстрому—обратный предыдущему принцип. Самый высокий процент отсева (21,8 %) респондентов фиксируется в группе тех, кому индикатор продвижения показывался сначала медленно, а затем быстро. Самый низкий — в группе респондентов, заполнявших анкету с индикатором, работающим по принципу от быстрого к медленному (11,3 %), для линейного индикатора продвижения отсев составил 14,4 %, для отсутствия индикатора — 12,7 %. Учитывая отсутствие статистической значимости между тремя последними показателями, исследователи ставят под вопрос эффективность автоматического включения индикатора продвижения в анкету.
Второй эксперимент показал, что алгоритм демонстрации индикатора продвижения не влияет ни на скорость прохождения анкеты, ни на долю неответов на отдельные вопросы. Сравнение трех алгоритмов демонстрации индикатора — (1) постоянно, (2) по запросу и (3) через каждые 9 вопросов — показало, что влияние принципа работы индикатора сохраняется при любом алгоритме его демонстрации. Таким образом, без учета отсутствия статистической значимости, наиболее эффективно отсев респондентов минимизируется при визуализации шкалы продвижения от быстрого к медленному. Однако, как отмечают исследователи, использование этого принципа сопряжено с этическими рисками, поскольку респондент вводится в заблуждение по поводу истинной скорости прохождения анкеты.
Формат представления оценочных вопросов
Оценочные вопросы с порядковой шкалой вариантов ответа являются одним из наиболее распространенных инструментов, используемых в массовых опросах. Традиционно для их визуального представления в онлайн-инструментарии
используется формат радиокнопок, когда для ответа респонденту нужно поставить точку в кружок, расположенный напротив подходящего варианта ответа. Несмотря на очевидные преимущества такого формата визуализации, связанные с простотой и привычностью для респондента, его постоянное использование может привести к усталости и скуке респондентов ввиду однообразия и отсутствия интерактивности, что, в конечном счете, может привести к увеличению отсева респондентов. В качестве альтернативы имеются другие форматы, например, слайдер, когда респонденту необходимо переместить «бегунок» на шкале от минимального значения к максимальному в такое положение, которое соответствует ответу, и сортировка дрэг-энд-дроп, где респонденту нужно переместить релевантный ответ в отдельное окно. Исследователи отмечают, что применение этих интерактивных форматов может способствовать повышению уровня вовлеченности респондентов в процесс заполнения анкеты, повышению уровня удовлетворенности от заполнения анкеты и, соответственно, снижению отсева [Cooper, 2008; Smith, Albaum, 2013].
Рассмотренная гипотеза проверялась в ряде эмпирических исследований [Stanley, Jenkins, 2007; Sikkel, Steenbergen, Gras, 2014; Roster, Lucianetti, Albaum, 2015]. Так, когда Н. Стенли и С. Дженкинс [Stanley, Jenkins, 2007] в ходе панельного исследования просили респондентов оценить свои впечатления от анкеты, некоторые вопросы одним респондентам они задавали в традиционном формате с радиокнопками, а другим — с использованием слайдеров. В итоге интерес к заполнению анкеты и вовлеченность в этот процесс выше оценили респонденты, отвечавшие на анкету с использованием слайдеров. Кроме того, эти же респонденты значительно чаще отмечали, что хотели бы заполнять подобные анкеты в будущем. Вместе с тем, Н. Стенли и С. Дженкинс выявили некоторые недостатки вопросов в формате слайдера: некоторые респонденты не понимали, как правильно заполнять подобные вопросы, а также пропускали вопрос без ответа, не передвинув бегунок. Однако отмечалось, что эти недостатки могут быть преодолены за счет разработки подробных инструкций для респондентов и усовершенствования программного обеспечения, чтобы лучше контролировать процесс заполнения подобных вопросов.
К. Ростер, Л. Лучианетти и Дж. Албаум [Roster, Lucianetti, Albaum, 2015] не обнаружили статистически значимых различий между ответами респондентов на вопросы о вовлеченности в процесс заполнения анкеты и интересе к тематике исследования в формате радиокнопок и слайдера. Вместе с тем, вслед за Н. Стенли и С. Дженкинсом, они отметили большую когнитивную сложность формата со слайдером и рекомендовали разработчикам особое внимание уделять разработке подробных инструкций для респондентов по заполнению анкет.
Д. Сиккел, Р. Стеенберген и С. Грас показали ограниченную эффективность использования интерактивных форматов слайдера и сортировки дрэг-энд-дроп в лонгитюдных и панельных исследованиях [Sikkel, Steenbergen, Gras, 2014]. Они провели эксперимент, в ходе которого одной части респондентов одни и те же вопросы анкеты показывались в традиционном формате, а другой части — в интерактивном формате с использованием слайдеров и сортировок дрэг-энд-дроп. После этого проводилась вторая волна опроса, где респонденты заново в случайном порядке перераспределялись по группам в зависимости от формата представления
анкеты. В результате в отношении первой волны опроса гипотеза о позитивном влиянии интерактивного формата представления вопросов на удовлетворенность и вовлеченность респондентов подтвердилась. Однако результаты второй волны дали противоположные результаты: наиболее низкие оценки удовлетворенности различными аспектами заполнения анкеты были получены от респондентов, которые во второй раз заполняли анкету в интерактивном формате, что авторы эксперимента связали с тем, что преимущества интерактивности нивелировались увеличившейся длительностью заполнения анкеты. В соответствии с этим, Д. Сиккел, Р. Стеенберген и С. Грас посчитали неэффективным активное использование интерактивных форматов представления вопросов в панельных и лон-гитюдных исследованиях.
Ряд исследований также были посвящены сравнению качества данных, получаемых с использованием традиционных и интерактивных форматов представления вопросов (в первую очередь, слайдеров). Большинство из них показали, что формат представления вопросов значимо не влияет на качество получаемых данных [Arnau, Thompson, Cook, 2001; Bayer, Thomas, 2004; Roster, Lucianetti, Albaum, 2015; Малошонок, Терентьев, 2013]. Вместе с тем, в некоторых экспериментах был обнаружен негативный эффект использования вопросов в формате слайдеров по сравнению с форматом радиокнопок [Funke, Toepoel, 2015; Waltson, Lissitz, Rudner, 2006; Funke, 2016]. Так, Ф. Функе и В. Тоепоел зафиксировали значимое увеличение доли неответов при использовании вопросов в формате слайдеров по сравнению с форматом радиокнопок [Funke, Toepoel, 2015].
Результаты эксперимента Ф. Функе [Funke, 2016] показали трехкратное увеличение отсева при использовании вопросов в формате слайдеров по сравнению с использованием формата радиокнопок. Исследователь связывает это с повышенной когнитивной нагрузкой для респондента при использовании вопросов в формате слайдера. Особенно высокий отсев (около трети) наблюдался среди заполнявших анкету с мобильных устройств. Дополнительный аргумент против использования слайдеров Функе видит в увеличении длительности заполнения вопросов в формате слайдера по сравнению с вопросами в формате радиокнопок, что подтверждается и в других исследованиях [Couper et al., 2006; Bayer, Thomas, 2004; Funke, Reips, Thomas, 2011]
Визуализация открытых вопросов
Несмотря на преимущество закрытого формата вопросов, в некоторых случаях использование открытых вопросов является необходимым или целесообразным. Такая ситуация возникает, например, в поисковом исследовании, когда нет надежного списка закрытий, которые бы охватывали все актуальные варианты ответа. Также открытые вопросы используют когда, например, хотят получить от респондентов развернутые комментарии. Наконец, список вариантов может быть слишком большим для закрытого вопроса. Для получения подробных ответов на открытые вопросы и уменьшения доли неответов используют различные приемы визуализации.
Так, в ряде экспериментов было показано, что на ответы респондентов влияет размер окна для ввода текстовой информации [Christian, Dillman, 2004; Emde,
Fuchs, 2012; Zuell, Menold, Körber, 2014; Maloshonok, Terentev, 2016]. Увеличение размера окна привело к существенному увеличению среднего количества введенных символов, слов и тем. При этом вопреки ожиданиям исследователей, доля неответов не увеличилась [Emde, Fuchs, 2012; Smyth et al., 2009]. В исследовании Н. Малошонок и Е. Терентьева подобный эффект был выявлен только для анкет, язык которых не является родным для респондентов [Maloshonok, Terentev, 2016]. Однако в других исследованиях эффект размера окна на ответы респондентов обнаружен не был [Stern, Smyth, Mendez, 2012; Малошонок, Терентьев, 2014]. В исследовании М. Стерна и его коллег [Stern, Smyth, Mendez, 2012] значимое различие в среднем количестве слов в зависимости от размера окна для ввода данных было зафиксировано только для группы респондентов, которые продемонстрировали наибольший интерес к теме исследования. В исследовании Дж. Смита и его коллег [Smyth et al., 2009] значимые различия были обнаружены для группы поздних респондентов (заполнивших анкету позже основного массива респондентов): те из них, кто отвечали на вопрос со сравнительно большим размером окна для ввода данных, указали большее количество символов, слов и тем. В отношении открытых вопросов, предполагающих введение цифровых данных, эффект размера окна обнаружен не был [Fuchs, 2007; Fuchs, 2009; Couper et al., 2011].
В открытых вопросах, предполагающих возможность указать несколько ответов, увеличению количества ответов может способствовать использование не одного большого окна для ввода данных, а нескольких небольших окон. Так, в исследовании Дж. Смита и коллег использование трех и пяти небольших окон для ввода данных вместо одного большого привело к последовательному увеличению доли респондентов, отметивших несколько ответов [Smyth, Dillman, Christian, 2007]. Однако в то же время, использование нескольких окон для ввода данных привело к снижению общего количества слов в ответах [Mohr, Sell, Lindsay, 2016]. Одновременно, в эксперименте Дж. Смита с коллегами [Smyth, Dillman, Christian, 2007] увеличение количества окон для ввода данных существенно увеличило долю неответов. В эксперименте Ф. Кеша использование 10 небольших окон для ввода данных также позволило существенно увеличить количество респондентов, указавших более одного ответа по сравнению с использованием одного большого окна [Keusch, 2014]; при этом использование 10 окон для ввода данных привело к статистически значимому увеличению средних временных затрат на ответ, однако, в отличие от эксперимента Дж. Смита и его коллег, значимого увеличения доли неответов зафиксировано не было.
Исследования также показали, что повышению качества ответов респондентов на открытые вопросы может способствовать использование поясняющих и мотивирующих предисловий к вопросам. В эксперименте Дж. Смита и его коллег [Smyth et al., 2009] включение в текст вопроса дополнительной фразы о важности ответа и просьбы потратить время на его заполнение (Этот вопрос очень важен для понимания студенческого опыта в Университете. Пожалуйста, потратьте время на его заполнение) позволило получить более развернутые ответы. Респонденты, отвечавшие на вопрос с предисловием-подсказкой, писали в среднем на 3—6 слов больше, чем те, кто отвечал на вопрос без него. Кроме того, использование предисловия позволило существенно (на 15—20 %) увеличить долю респонден-
тов, давших содержательные ответы. Вместе с тем, включение в текст вопроса дополнительного предисловия привело к увеличению среднего времени заполнения вопроса (на 17—20 секунд), как и доли неответов (на 4—6 %). Объясняя неоднозначность полученных результатов, исследователи выдвинули гипотезу о том, что негативное влияние на долю ответивших на вопрос оказала вторая часть предисловия (Пожалуйста, потратьте время на его заполнение). Для проверки этой гипотезы они провели дополнительный эксперимент, где сравнивали ответы респондентов на вопросы с различными типами предисловий, однако его результаты не показали наличие статистически значимых различий.
Формат представления несодержательных вариантов ответа
Использование несодержательных вариантов ответа («Затрудняюсь ответить», «Нет мнения» и др.) в опросах, реализованных как в офлайн-, так и в онлайн-фор-мате, призвано снизить давление на респондента, связанное с необходимостью выбирать какой-то вариант из списка предложенных даже в случае, если ни один из них не соответствует мнению респондента, или если респондент действительно затрудняется с ответом. Считается, что присутствие несодержательных вариантов ответа повышает качество получаемых данных за счет снижения доли случайно выбранных содержательных вариантов. Вместе с тем, использование подобных вариантов ответа сопряжено с рядом рисков, связанных, например, с тем, что их включение в список вариантов ответа может спровоцировать респондентов на то, чтобы сэкономить свои когнитивные усилия и выбрать их, не подумав над содержательными ответами. В онлайн-исследованиях эта проблема усугубляется: одним из недостатков сбора данных онлайн в целом является увеличение доли несодержательных ответов, данных респондентами, по сравнению с бумажными опросами [Heerwegh, Loosveldt, 2008]. Экономию усилий в онлайн-опросах объясняют несколькими причинами, в том числе, и отсутствием невербальной коммуникации между интервьюером и респондентом. Поэтому важной методологической задачей в онлайн-исследованиях становится поиск различных способов снижения возможных негативных эффектов от использования несодержательных вариантов ответа путем оптимизации формата их визуального представления.
Онлайн-формат сбора опросных данных предоставляет респонденту разные возможности уйти от содержательного ответа. Так, помимо эксплицитного включения в список несодержательных вариантов ответа, в онлайн-формате можно разрешить переход к следующему вопросу без указания ответа. Ряд экспериментов были нацелены на выявление того, как различные способы предоставления респонденту возможности не давать содержательный ответ влияют на качество получаемых данных [DeRouvray, Couper, 2002; Leeuw, Hox, Boeve, 2015].
Так, К. ДеРуврей и М. Купер [DeRouvray, Couper, 2002] тестировали четыре способа предоставления респонденту возможности уйти от содержательного ответа при попытке перейти к следующему вопросу: (1) использование несодержательных альтернатив с возможностью пропустить вопрос без напоминания о том, что ответ не был дан; (2) использование несодержательных альтернатив с возможностью пропустить вопрос и напоминанием о том, что ответ не был дан; (3) использование несодержательных альтернатив, представленных меньшим шрифтом, чем
содержательные, и выделенных курсивом, с возможностью пропустить вопрос без напоминания о том, что ответ не был дан; (4) отсутствие несодержательных альтернатив с возможностью пропустить вопрос и напоминанием о том, что ответ не был дан. Результаты эксперимента показали, что использование вопросов без несодержательных вариантов ответа позволяет существенно увеличить долю содержательных ответов. Кроме того, напоминание о возможности дать ответ при попытке респондента перейти к следующему вопросу без ответа на предыдущий снижает долю пропусков при наличии несодержательных вариантов ответа. Влияния визуального выделения несодержательных альтернатив в данном эксперименте выявлено не было.
Э. де Лиув, Дж. Хокс и А. Бёве [Leeuw, Hox, Boevé, 2015] использовали шесть экспериментальных условий для определения оптимального способа предоставления респондентам возможности уйти от ответа: (1) без использования несодержательных альтернатив с возможностью пропустить ответ; (2) без использования несодержательных альтернатив с возможностью пропустить ответ и напоминанием о возможности дать ответ в случае, если респондент переходил к следующему вопросу без ответа на предыдущий; (3) с использованием несодержательных альтернатив, визуально отделенных от содержательных пустой строкой; (4) с использованием несодержательных альтернатив, визуально отделенных от содержательных пустой строкой, и напоминанием о возможности дать ответ в случае, если респондент переходил к следующему вопросу без ответа на предыдущий; (5) с использованием специальной кнопки, соответствующей несодержательному ответу; (6) с использованием специальной кнопки, соответствующей несодержательному ответу, и напоминанием о возможности дать содержательный ответ в случае, если респондент нажал на кнопку, соответствующую несодержательному варианту ответа. Результаты эксперимента подтвердили выводы ДеРуврея и Купера [DeRouvray, Couper, 2002], показав, что использование эксплицитно представленных несодержательных альтернатив приводит к увеличению доли несодержательных ответов, а также что использование напоминаний о возможности дать содержательный ответ приводит к снижению доли неответов или несодержательных ответов. Кроме того, исследователи выявили, что использование эксплицитно представленных несодержательных вариантов ответа приводит к снижению надежности получаемых данных. В соответствии с этим, они рекомендуют не использовать эксплицитно представленные несодержательные альтернативы, а давать респондентам возможность пропустить вопрос, используя дополнительные напоминания в случае, если респондент переходит к следующему вопросу без ответа на предыдущий.
Кроме вопроса об оптимальном формате предоставления респондентам возможности уйти от содержательного ответа или дать несодержательный ответ, в случае выбора формата с эксплицитным представлением несодержательных альтернатив перед исследователями часто встает вопрос о выборе наиболее эффективного способа их визуального представления. Р. Туранжо, М. Купер и Ф. Конрад [Tourangeau, Couper, Conrad, 2004] сравнили ответы респондентов на оценочные вопросы с использованием двух способов визуализации несодержательных альтернатив («Затрудняюсь ответить» и «Нет мнения»): в первом случае эти альтернативы визуально не отличались от содержательных вариантов ответа,
во втором случае они были отделены от содержательных вариантов ответов чертой. В обоих случаях несодержательные варианты ответа были расположены в конце списка вариантов ответа (список имел вертикальную ориентацию). Результаты эксперимента показали существенные различия в структуре ответов респондентов в зависимости от способа визуального представления несодержательных альтернатив: использование графического разделителя привело, во-первых, к увеличению доли выбравших несодержательные альтернативы, во-вторых—к снижению среднего значения содержательных ответов. Второй результат исследователи связали с тем, что респонденты ориентируются не на содержательный, а на визуальный центр шкалы, который при наличии разделителя смещается в сторону вариантов, представленных в списке выше. Поэтому для повышения точности содержательных данных авторы рекомендовали давать более строгое визуальное разграничение между содержательными и несодержательными вариантами ответов.
Л. М. Кристиан, Н. Парсонс и Д. Диллман в качестве экспериментального фактора использовали другой способ визуального выделения несодержательных альтернатив — они увеличили интервал между последним содержательным и первым несодержательным вариантами [Christian, Parsons, Dillman, 2009]. Результаты эксперимента подтвердили выводы Туранжо, Купера и Конрада об увеличении доли несодержательных ответов при визуальном их выделении, однако вступили в противоречие с выводами о влиянии визуализации несодержательных вариантов ответа на структуру содержательных ответов: значимо более высокие средние оценки по шкале были получены в случае визуального выделения несодержательной альтернативы.
Результаты эксперимента Н. Малошонок и Е. Терентьева показали, что способы визуализации несодержательных альтернатив не дают статистически значимых различий ни в долях несодержательных ответов, ни в структуре содержательных ответов [Малошонок, Терентьев, 2014]. Однако в отличие от экспериментов Туранжо, Купера и Конрада, а также Кристиан, Парсонса и Диллмана, в этом эксперименте шкала вариантов ответа имела горизонтальную, а не вертикальную ориентацию. Соответственно, различия в результатах можно объяснить тем, что ориентация шкалы влияет на восприятие вариантов ответа, и обнаруженный в исследованиях Туранжо, Купера и Конрада, а также Кристиан, Парсонса и Диллмана, эффект проявляется только при вертикальном формате представления вариантов ответа.
Ключевые выводы и рекомендации
Результаты представленного аналитического обзора позволяют зафиксировать ряд ключевых выводов и дать рекомендации относительно того, какой дизайн опросного инструментария лучше использовать для получения более полных и качественных данных в онлайн-опросах.
Во-первых, в отношении визуального оформления экрана, на котором представляется опросный инструмент, можно дать следующие рекомендации: (1) для снижения уровня отсева в процессе заполнения анкеты лучше использовать белый или другой светлый однотонный фон и стандартный черный шрифт для написания текстов вопросов и вариантов ответа, поскольку такой формат явля-
ется более конвенциональным и простым для респондентов; (2) в случае, если анкета небольшая по объему, в ней нет большого количества открытых вопросов и сложной системы фильтрации, и ее заполнение не требует значительных временных затрат, рекомендуется использовать графические индикаторы продвижения, показывающие, на каком этапе анкеты находится респондент.
Во-вторых, самый эффективный формат представления оценочных вопросов — традиционный формат радиокнопок: по сравнению с интерактивными форматами (слайдеры, сортировки дроп-энд-даун и др.) он позволяет существенно снизить время заполнения анкеты, долю несодержательных ответов и пропущенных данных. Интерактивные форматы представления оценочных вопросов нужно использовать очень осторожно, особенно, в лонгитюдных исследованиях.
В-третьих, в отношении визуализации открытых вопросов можно предложить следующее: (1) для получения более полных ответов на открытые вопросы, предполагающие развернутые словесные высказывания, рекомендуется увеличить размер окна для ввода данных; (2) в вопросах, предполагающих возможность дать несколько ответов, рекомендуется использовать вместо одного большого несколько небольших окон для ввода данных; (3) для повышения качества содержания ответов, открытые вопросы рекомендуется снабжать специальными предисловиями и пояснениями.
Наконец, относительно оптимального формата представления несодержательных вариантов ответа рекомендуется предусмотреть (1) либо возможность дать несодержательный ответ, (2) либо возможность пропустить вопрос, но при этом напомнить о желательности дать содержательный ответ.
Разумеется, полученные результаты требуют дополнительной эмпирической верификации, поскольку недоисследованным остается вопрос о возможности их универсальной экстраполяции на различные аудитории респондентов, а также на исследования различной тематики, технических и содержательных характеристик.
References
Малошонок Н. Г., Терентьев Е. А. Эффект визуализации и формата оценочных шкал в онлайн-опросах студентов // Universitas. Журнал о жизни университетов. 2013. № 1 (2). С. 20—44. [Maloshonok N. G., Terentiev E. A. Effekt vizualizatsii i formata otsenochnykh shkal v onlain-oprosakh studentov [Effects of visualization and assessment scales' format in online student surveys. Universitas. Zhurnal o zhizni universitetov. 2013. № 1 (2). P. 20—44.]
Малошонок Н. Г., Терентьев Е. А. Влияние дизайна анкеты на качество данных в онлайн-опросах студентов // Мониторинг общественного мнения : Экономические и социальные перемены. 2014. № 6. С. 15—27. [Maloshonok N. G., Terentiev E. A. Effects of questionnaire design on data quality in student online surveys. Monitoring of public opinion: Economic and social changes. 2014. № 6. P. 15—27.]
Arnau R. C., Thompson R. L., Cook C. Do different response formats change the latent structure of responses? An empirical investigation using taxometric analysis. Educational and Psychological Measurement. 2001. Vol. 61. No. 1. P. 23—44.
Bayer L. R., Thomas R. K. A comparison of sliding scales with other scale types in online surveys: Paper presented at the RC 33 Sixth International Conference on Social Science Methodology, August 16—20, 2004, Amsterdam, Netherlands.
Christian L. M., Dillman D. A. The influence of graphical and symbolic language manipulations on responses to self-administered questions. Public Opinion Quarterly. 2004. Vol. 68. No. 1. P. 57—80.
Christian L. M., Parsons N. L., Dillman D. A. Designing scalar questions for web surveys. Sociological Methods & Research. 2009. Vol. 37. No. 3. P. 393—425.
Conrad F. G. et al. The impact of progress indicators on task completion. Interacting with computers. 2010. Vol. 22. No. 5. P. 417—427.
Couper M. P. Review: Web surveys: A review of issues and approaches. The Public Opinion Quarterly. 2000. Vol. 64. No. 4. P. 464—494.
Couper M. P. et al. Evaluating the effectiveness of visual analog scales a web experiment. Social Science Computer Review. 2006. Vol. 24. No. 2. P. 227—245.
Couper M. P. Designing effective web surveys. New York : Cambridge University Press, 2008.
Couper M. P. et al. Designing input fields for non-narrative open-ended responses in web surveys. Journal of official statistics. 2011. Vol. 27. No. 1. P. 65—85.
Couper M. P., Traugott M. W., Lamias M.J. Web survey design and administration. Public opinion quarterly. 2001. Vol. 65. No. 2. P. 230—253.
Crawford S. D., Couper M. P., Lamias M.J. Web surveys perceptions of burden. Social science computer review. 2001. Vol. 19. No. 2. P. 146—162.
DeRouvray C., Couper M. P. Designing a strategy for reducing «no opinion» responses in web-based surveys. Social science computer review. 2002. Vol. 20. No. 1. P. 3—9.
Dillman D. A. et al. Influence of plain vs. fancy design on response rates for web surveys. Proceedings of Survey Methods Section. 1998.
Dillman D. A., Smyth J. D. Design effects in the transition to web-based surveys. American journal of preventive medicine. 2007. Vol. 32. No. 5. P. 90—96.
Dillman D. A., Smyth J. D., MelaniL. Internet, mail, and mixed-mode surveys: the tailored design method. Toronto : Wiley & Sons, 2011.
Emde M., Fuchs M. Using adaptive questionnaire design in open-ended questions: A field experiment. American Association for Public Opinion Research (AAPOR) 67th Annual Conference, San Diego, USA, 2012.
Fricker R. D., Schonlau M. Advantages and disadvantages of Internet research surveys: Evidence from the literature. Field methods. 2002. Vol. 14. No. 4. P. 347—367.
Fuchs M. Asking for Numbers and Quantities: Visual Design Effects in Web Surveys and Paper & Pencil Surveys. Paper presented at the Annual Meeting of the American Association for Public Opinion Research; Anaheim, CA, 2007.
Fuchs M. Differences in the Visual Design Language of Paper-and-Pencil Surveys versus Web Surveys. A Field Experimental Study on the Length of Response Fields in Open-Ended Frequency Questions. Social Science Computer Review. 2009. Vol. 27. No. 2. P. 213—227.
Funke F. A Web experiment showing negative effects of slider scales compared to visual analogue scales and radio button scales. Social Science Computer Review. 2016. Vol. 34. No. 2. P. 244—254.
Funke F., Reips U. D., Thomas R. K. Sliders for the smart: Type of rating scale on the web interacts with educational level. Social Science Computer Review. 2011. Vol. 29. No. 2. P. 221—231.
Funke F., Toepoel V. Click, Touch, Slide: Impact of the Implementation of Graphical Rating Scales on Data Quality in Mobile and Desktop Settings. Paper presented on the General Online Research Conference, 18—20 March 2015.
Gorn G.J. et al. Waiting for the web: how screen color affects time perception. Journal of marketing research. 2004. Vol. 41. No. 2. P. 215—225.
HaerR., Meidert N. Does the first impression count: the impact of web surveys' welcome screen on response rates. Survey Methodology. 2013. Vol. 39. No. 2. P. 419—434.
Heerwegh D., Loosveldt G. An experimental study on the effects of personalization, survey length statements, progress indicators, and survey sponsor logos in Web Surveys. Journal of Official Statistics. 2006. Vol. 22. No. 2. P. 191—210.
Heerwegh D., Loosveldt G. Face-to-face versus web surveying in a high-internet-coverage population differences in response quality. Public Opinion Quarterly. 2008. Vol. 72. No. 5. P. 836—846.
Keusch F. The influence of answer box format on response behavior on list-style open-ended questions. Journal of Survey Statistics and Methodology. 2014. Vol. 2. No. 3. P. 305—322.
Leeuw E. D., Hox J. J., Boevé A. Handling Do-Not-Know Answers Exploring New Approaches in Online and Mixed-Mode Surveys. Social Science Computer Review. 2015. Vol. 34. No. 1. P. 116—132.
Maloshonok N., Terentev E. The impact of visual design and response formats on data quality in a web survey of MOOC students. Computers in Human Behavior. 2016. Vol. 62. P. 506—515.
Mohr A. H., Sell A., Lindsay T. Thinking Inside the Box Visual Design of the Response Box Affects Creative Divergent Thinking in an Online Survey. Social Science Computer Review. 2016. Vol. 34. No. 3. P. 347—359.
Roster C. A., Lucianetti L., Albaum G. Exploring slider vs. categorical response formats in web-based surveys. Journal of Research Practice. 2015. Vol. 1. No. 1. URL: http:// jrp.icaap.org/index.php/jrp/article/view/509/413 (accessed: 06.10.2016).
Sikkel D., Steenbergen R., Gras S. Clicking vs. dragging: Different uses of the mouse and their implications for online surveys. Public Opinion Quarterly. 2014. Vol. 78. P. 177—190.
Smith S. M., Albaum G. S. Basic marketing research: Building your survey. Provo, UT : Qualtrics Labs, 2013.
Smyth J. D., Dillman D. A., Christian L. M. Improving response quality in list-style open-ended questions in web and telephone surveys. In Annual conference of the American Association for Public Opinion Research, 2007.
Smyth J. D. et al. Open-Ended Questions in Web Surveys: Can Increasing the Size of Answer Boxes and Providing Extra Verbal Instructions Improve Response Quality? Public Opinion Quarterly. 2009. Vol. 73. P. 325—337.
Stanley N., Jenkins S. Watch what I do: Using graphical input controls in Web surveys. Proceedings of the Fifth International Conference of the Association for Survey Computing. 2007. P. 81—92.
Stern M. J., Smyth J. D., Mendez J. The effects of item saliency and question design on measurement error in a self-administered survey. Field Methods. 2012. Vol. 24. No. 1. P. 3—27.
Tourangeau R., Couper M. P., Conrad F. Spacing, position, and order interpretive heuristics for visual features of survey questions. Public Opinion Quarterly. 2004. Vol. 68. No. 3. P. 368—393.
Walston J. T., Lissitz R. W., Rudner L. M. The influence of web-based questionnaire presentation variations on survey cooperation and perceptions of survey quality. Journal of Official Statistics. 2006. Vol. 22. No. 2. P. 271—291.
Wright K.B. Researching Internet-based populations: Advantages and disadvantages of online survey research, online questionnaire authoring software packages, and web survey services. Journal of Computer-Mediated Communication. 2005. Vol. 10. No. 3. URL: http://onlinelibrary.wiley.com/wol1/doi/10.11117j.1083-6101.2005. tb00259.x/full (accessed: 06.10.2016).
Yan T. et al. Should I stay or should I go: The effects of progress feedback, promised task duration, and length of questionnaire on completing web surveys. International Journal of Public Opinion Research. 2011. Vol. 23. P. 131—147.
Zuell C., Menold N., KorberS. The influence of the answer box size on item nonresponse to open-ended questions in a web survey. Social Science Computer Review. 2014. Vol. 33. No. 1. P. 115—122.
