CC BY
190
ТЕОРИЯ, МЕТОДОЛОГИЯ, МЕТОДЫ
DOI: 10.14515/monitoring.2014.6.02 УДК [303.621.322-057.875:004.738.5]
Н.Г. Малошонок, Е.А. Терентьев ВЛИЯНИЕ ДИЗАЙНА АНКЕТЫ НА КАЧЕСТВО ДАННЫХ В ОНЛАЙН-ОПРОСАХ
СТУДЕНТОВ
ВЛИЯНИЕ ДИЗАЙНА АНКЕТЫ НА КАЧЕСТВО ДАННЫХ В ОНЛАЙН-ОПРОСАХ СТУДЕНТОВ
МАЛОШОНОК Наталья Геннадьевна — младший научный сотрудник Института образования НИУ ВШЭ, г. Москва. E-mail: [email protected].
ТЕРЕНТЬЕВ Евгений Андреевич — ведущий аналитик Центра внутреннего мониторинга НИУ ВШЭ, г. Москва. E-mail: [email protected].
EFFECTS OF QUESTIONNAIRE DESIGN ON DATA QUALITY IN STUDENT ONLINE SURVEYS
MALOSHONOK Natal'ya Gennad'evna - junior researcher, HSE Institute of Education, Moscow. E-mail: [email protected].
TERENT'EV Evgenii Andreevich - leading analyst, HSE Center of Internal Monitoring, Moscow. E-mail: [email protected].
Аннотация. Предпринята попытка определить элементы оптимального дизайна онлайн-анкеты для опросов студентов1. Выполнены четыре эксперимента с полным факторным планом. Первый направлен на определение наиболее приемлемого формата для указания ответа в процентном виде. Респондентам случайным образом предъявлялся один из двух экспериментальных форматов вопроса: окно для ввода значения от 0 до 100 и слайдер. Второй нацелен на сравнение оценочных вопросов в табличном виде и в виде кнопок. В рамках третьего эксперимента изучалось влияние одновременного (на одном экране) и постепенного (на разных экранах) предъявления вопросов, измеряющих разные аспекты одного явления, на ответы респондентов. В четвертом эксперименте исследовалась длина ответов на открытый вопрос в зависимости от размера окна для ввода текста. Результаты показали, что: (1) формат вопроса в виде окна для ввода данных приводит к значительному увеличению доли респондентов,
затруднившихся ответить на данный вопрос, по сравнению с форматом «слайдер»; (2)
Abstract. The authors tried to define the elements of the optimal questionnaire design in student opinion surveys. Four full factorial experiments were carried out. The first one aimed at revealing the most suitable format of providing the answers in percentages. Respondents were randomly offered for one out of two experimental question formats: an input box with values 0-100 and a slider. The second one was needed to compare evaluative questions in grid format and button format. The third experiment allowed studying the effects of the simultaneous (single screen) and gradual (different screens) questioning measuring different aspects of the same phenomenon on the respondent answers. The fourth experiment was made to examine the length of the answers to the open-ended questions depending on the size of the input screen. The results revealed that (1) the input screen question format leads to the increased number of the undecided compared to the slider format; (2) grid-format of evaluation questions decreases the time spent on answers but increases the unfair answer rate; (3) providing several questions referring to
Использованы результаты, полученные в ходе выполнения проекта N0 13-05-0035, осуществляемого при поддержке Программы «Научный фонд НИУ ВШЭ» в 2013-2014 гг. 15 _
табличный формат оценочных вопросов приводит к сокращению времени ответа на вопросы, но в большей мере способствует получению недобросовестных ответов; (3) размещение нескольких вопросов, измеряющих разные аспекты одного явления, на одном экране способствует получению более согласованных ответов; (4) размер окна для написания комментариев к анкете статистически значимо не влияет на желание респондентов оставить комментарий, а также на его длину.
different aspects of the same issue on the same screen allows getting more concerted responses; (4) the size of the comments screen does not have any statistical effect on the desire of respondents to leave comments as well as on the length of the comment.
Ключевые слова: онлайн-исследования, инструментарий, форматы вопросов, табличные вопросы, опрос студентов, качество данных
Keywords: online surveys, tools, question formats, grid questions, student surveys, data quality
Дизайн исследования в онлайн-опросах сильнее влияет на качество данных, чем в стандартизированных интервью, телефонных и почтовых опросах в силу того, что для формирования электронной анкеты доступно большее количество инструментов и средств визуализации, которые будут либо повышать качество данных, либо приводить к увеличению случайных и систематических ошибок. Ученые отмечают, что необходимо проделать большую работу, для того чтобы определить оптимальный дизайн анкеты для различных групп респондентов [5]. В рамках статьи сделана попытка определить элементы оптимального дизайна анкеты для студентов высших учебных заведений посредством проведения четырех экспериментов с полным факторным планом. Экспериментирование проводилось с:
— форматами вопросов для указания процентов;
— форматами оценочных вопросов, предполагающих получение порядковой шкалы;
— размещением вопросов, измеряющих разные аспекты одного явления;
— размером окна для ответа на открытый вопрос.
Перед тем как перейти к описанию экспериментов и их результатов, обратимся к опыту изучения различных форматов вопросов, их визуализации и расположения в других исследованиях.
Результаты предыдущих эмпирических исследований
Эмпирические исследования влияния формата вопросов и способа их визуализации на качество данных в онлайн-исследованиях проводились по нескольким направлениям. Во-первых, ряд исследований показал, что использование открытых вопросов, предполагающих самостоятельное заполнение респондентами, в онлайн-исследованиях ведет к увеличению количества не-ответов и пропущенных данных [3, 11, 13]. Однако, например, результаты исследования Н. Джэйкоба и Т. Зербэка указывают на то, что в некоторых случаях использование открытых вопросов может привести к увеличению отклика [9].
Во-вторых, исследователи занимались изучением влияния на качество данных конкретных форматов открытых и закрытых вопросов. Сравнивались ответы на вопросы, заданные в одном из форматов: (1) радиокнопок (необходимо выбрать одну альтернативу из списка предложенных, поставив точку в соответствующий кружок); (2) слайдер (необходимо переместить «бегунок» на шкале от минимального значения к максимальному в такое положение, которое соответствует ответу); (3) окна для ввода данных (необходимо самостоятельно вписать свой ответ в соответствующее поле) [1, 5, 6, 8].
М. Купер и его коллеги исследовали влияние на качество данных двух форматов вопросов: (1) закрытых в формате радиокнопок и (2) открытых в формате окон для ввода данных [6]. Варианты «не знаю» и «нет ответа» были включены в список альтернатив в вопросах в формате радиокнопок. В открытых вопросах у респондентов была возможность пропустить вопрос, если они затруднялись с ответом или не хотели отвечать. Результаты показали значимое увеличение доли респондентов, не давших содержательный ответ, среди тех, кто отвечал на вопросы в формате окна для ввода данных.
Л. Байер и Р. Томас сравнивали среднее время заполнения и уровень отклика на вопросы в форматах (1) слайдера, (2) радиокнопок и (3) окна для ввода данных и показали значимое увеличение времени заполнения вопросов, а также доли респондентов, бросивших заполнение анкеты при использовании вопросов в формате слайдер [1]. Высокая доля респондентов, бросивших заполнение анкеты, объяснялась тем, что значительная их часть использовала интернет-браузеры, не поддерживающие технологию Java, необходимую для корректного отображения вопросов в формате слайдер.
В другом эксперименте М. Купер и его коллеги исследовали влияние на качество данных трех форматов вопросов: (1) визуальная аналоговая шкала (слайдер); (2) радиокнопка; (3) окно для ввода данных [7]. Все форматы предполагали отсутствие вариантов ответа «не знаю», «нет ответа», однако можно было пропустить вопрос в случае затруднения или нежелания отвечать. Результаты показали значимое влияние формата вопросов на долю пропущенных данных и среднее время ответа. Сравнительно более высокие показатели доли пропущенных данных и времени заполнения отмечались для вопросов в формате визуальной аналоговой шкалы. Сравнительно более низкие — для вопросов в формате радиокнопок.
Ф. Фанке, У.-Д. Рейпс и Р. Томас сравнивали ответы респондентов на вопросы в форматах (1) радиокнопок и (2) слайдер и показали, что использование слайдера ведет к увеличению доли бросивших заполнение анкеты и среднего времени ответа [8]. Также они отметили, что формат слайдер вызывает особые трудности для людей с низким уровнем образования, что объясняется сложностью самого формата.
Третье направление поисков было связано с изучением влияния способа расположения вопросов на экране на качество данных. Зарубежные исследования показывают, что расположение смежных вопросов на одном экране приводит к большей корреляции ответов на них, чем разделение их на несколько экранов либо расположение каждого вопроса на отдельном экране [6, 10, 16]. Часто такой вывод объясняется тем, что респондент, вероятно, воспринимает вопросы, расположенные близко физически (на одном экране) как близкие по концептуальному значению [16].
В некоторых исследованиях сравнивались ответы на вопросы, заданные в формате (1) таблиц (несколько вопросов показывались на одном экране), и (2) серий вопросов (каждый вопрос отображался на отдельном экране). Так, М. Купер и его коллеги показали,
17 _
что использование таблиц значимо сокращает время заполнения и долю пропущенных данных [6]. При этом ответы в обоих форматах значимо не различались по степени внутренней согласованности, измеренной с помощью коэффициента альфа Кронбаха.
Схожие результаты получены Д. Беллом, К. Мэнгионом и Ч. Каном [2]. Заполнение таблиц по сравнению с заполнением серий вопросов, каждый из которых выводился на отдельном экране, заняло сравнительно меньше времени, но обнаруженные различия оказались статистически не значимыми. Различия между двумя выборками по степени внутренней согласованности данных также не выявлены.
Р. Туранжо, М. Купер и Ф. Конрад сравнивали три формата представления блока из 8 вопросов: (1) одной таблицы; (2) двух таблиц (4 вопроса показывали на одном экране и 4 на другом); (3) 8 вопросов (каждый из них показывали на отдельном экране) [16]. Выявлено не только значимое влияние формата представления вопросов на время их заполнения (респонденты тратили меньше времени на заполнение таблиц), но и на качество полученных данных. Отвечавшие на вопросы в формате таблицы значительно чаще выбирали одинаковые варианты ответа на все вопросы.
В эксперименте В. Тоепоела, М. Даса и А. ван Соеста обнаружено значимое влияние формата вопросов на долю пропущенных данных [15]. Сравнивая 4 формата представления блока из 40 вопросов, когда (1) каждый вопрос показывали на одном экране, (2) каждые 4 вопроса показывали на одном экране, (3) каждые 10 вопросов показывали на одном экране и (4) все вопросы показывали на одном экране, они зафиксировали монотонное увеличение доли пропущенных данных при увеличении количества вопросов, показываемых на одном экране. Использование таблиц привело к значимому уменьшению среднего времени ответа на вопросы. Статистически значимых различий в значениях индексов, построенных на основании ответов на 40 предложенных вопросов, и показателей внутренней согласованности (альфа Кронбаха) не обнаружено.
Исследования М. Каллегаро, Дж. Шэнд-Лабберс и Дж. Деннис [4], а также Торндайка и коллег [18] показали значимое влияние формата представления вопросов на время их заполнения: респонденты тратили меньше времени на заполнение таблиц. При этом результаты, полученные М. Каллегаро, Дж. Шэнд-Лабберсом и Дж. Деннисом, не выявили статистически значимых различий между выборками по степени внутренней согласованности данных, измеренной с помощью коэффициента альфа Кронбаха.
Наконец ряд исследований был направлен на изучение того, как различные способы визуализации открытых вопросов влияют на ответы респондентов. В частности исследовалось, как размер поля для ввода данных влияет на длину ответов и время заполнения. Еще до того как появились онлайн-опросы, было отмечено, что большое пространство в анкете способствует тому, что респондент или интервьюер, заполняющий анкету со слов респондента, записывают длинный и более полный ответ на вопрос, чем при меньшем пространстве для записей [14]. Дж. Смит, Д. Диллман, Л.М. Кристиан и М. МакБрайд в результате эксперимента, проведенного на студентах Университета штата Вашингтон, показали, что увеличение размера окна для ответа в онлайн-опросах имеет небольшой эффект на ответы так называемых ранних респондентов (ответивших на опрос в первые дни проведения исследования), но способствуют существенному улучшению качества ответов поздних респондентов [12]. В исследовании К. Зуел, Н. Менолд и С. Кебер обнаружено, что использование большого окна для ответа повышает долю респондентов, не ответивших на вопрос [19].
18 _
Эмпирическая база исследования
Влияние дизайна анкеты на ответы респондентов изучали в рамках исследования «Мониторинг студенческих характеристик и траекторий» (МСХТ), реализованного в вузах, входящих в Ассоциацию ведущих вузов в области экономики и менеджмента (АВВЭМ). Полевой этап исследования (ноябрь 2013 г. — февраль 2014 г.) проводили с помощью онлайн-опроса студентов, реализованного двумя способами: 1) в части вузов студенты заполняли анкету в компьютерных классах, 2) в остальных университетах опрос осуществлен через е-таИ-рассылку. В исследовании МСХТ приняли участие студенты бакалавриата и специалитета 11 российских вузов, обучающиеся на экономических и менеджериальных специальностях. Эксперименты с дизайном анкеты проводили в 7 университетах. Общее число студентов — 2668 человек.
Экспериментальный план и гипотезы исследования
Эксперимент 1
В рамках первого эксперимента оценивали влияние на качество данных двух форматов вопросов: (1) открытых в формате окон для ввода данных (см. рис. 1); (2) закрытый в формате слайдер (см. рис. 2). Одной половине респондентов вопрос о количестве экзаменов/зачетов (в %), которые проходили у них в группе в письменной форме в прошлом учебном году, задавали в первом формате, другой — во втором. В обоих форматах респондент мог выбрать опцию «затрудняюсь ответить».
Оцените примерно, какой процент экзаменов/зачетов проходил у Вас в группе в письменной форме в прошлом учебном году?
П>
Затрудняюсь ответить в
Рисунок 1 - Вид вопроса формата окошка для ввода данных
Оцените примерно, какой процент экзаменов/зачетов проходил у Вас в группе в письменной форме в прошлом учебном году?
0% 100% 0
Затрудняюсь ответить
Рисунок 2 - Вид вопроса формата слайдер
В рамках этого эксперимента мы проверяли гипотезу 1 о том, что использование открытого вопроса в формате окна для ввода данных приведет к увеличению доли респондентов, выбравших несодержательный вариант ответа («затрудняюсь ответить»), и уменьшению среднего времени заполнения вопроса.
Эксперимент 2
Второй эксперимент был направлен на изучение того, как способ расположения и визуализации вопросов влияет на качество полученных данных. Два блока вопросов анкеты2 показывали респондентам в одном из двух форматов: (1) таблица (все вопросы, относящиеся к одному блоку, показывали на одном экране, респонденту для ответа необходимо выбрать один ответ в каждой строке) (см. рис. 3); (2) кнопка (каждый вопрос показывали на отдельном экране, для ответа необходимо нажать одну из кнопок с соответствующим вариантом ответа) (см. рис. 4). Помимо содержательных альтернатив оба формата предполагали наличие альтернативы «затрудняюсь ответить» для каждого вопроса.
В прошлом учебном году, как часто Ваше обучение предполагало выполнение следующих видов деятельности?
Никогда Крайне редко Иногда Часто Очень часто Затрудняюсь от вет ит ь
Переписывание материала с доски или со слайдов О
Записывание учебного материала под диктовку О О О О О О
Заучивание конспектов лекций пли методичек по курсу О О о О О о
Самостоятельный поиск нового материала по курсу в нескольких источниках
Приведение фактов и примеров в поддержку собственной точки зрения о
Критический анализ идей, теорий и методов, описанных в работах ученых О О о о О о
Применение теоретических концепций к решению кейсов и практических задач О О о о О о
Рисунок 3 - Вид вопроса формата «таблица»
В прошлом учебном году, как часто Ваше обучение предполагало выполнение следующих видов деятельности?
1. Переписывание материала с доски или со слайдов
Никогда Крайне редко Иногда Часто Очень часто Затрудняюсь ответить
Рисунок 4 - Вид вопроса формата «кнопки»
Проведение данного эксперимента предполагало проверку гипотезы 2 о том, что формат таблиц позволяет сократить время заполнения анкеты, однако увеличивает долю респондентов, заполнивших анкету недобросовестно. В качестве индикаторов рассматривались такие показатели, как высокая доля несодержательных («затрудняюсь ответить») и одинаковых ответов на все вопросы в каждом блоке при условии, что время заполнения было достаточным для вынесения обдуманных вопросов.
Эксперимент 3
Проведение третьего эксперимента было нацелено на понимание того, как размещение вопросов, измеряющие разные аспекты одного и того же явления, влияют на ответы. Исследование проводили с использованием вопросов о посещаемости, измеряя два ее аспекта: посещение а) лекций и б) семинаров (см. рис. 5). При заполнении анкеты половине респондентов выводили на экран сразу оба вопроса, остальные же получали вопрос о посещаемости семинаров только после того, как они оценили долю посещенных лекций. Таким образом, первое экспериментальное условие позволяло сразу увидеть оба
2 Первый блок посвящен участию в различных видах учебной деятельности в прошлом учебном году, второй — взаимодействию с преподавателями в прошлом учебном году. Каждый блок состоял из 7 вопросов. 20 _
вопроса о посещаемости, второе предполагало, что респондент, отвечая на вопрос о доле посещенных лекций, не знает, что его ждет аналогичный вопрос о семинарах. Стоит отметить, что в рамках второго экспериментального условия студент при ответе на второй вопрос мог вернуться к первому и изменить ответ.
Оцените примерно, какой процент лекций Вы посетили в текущем учебном году (если не помните точно, укажите Оцените примерно, какой процент семинаров Вы посетили в текущем учебном году (если не помните точно, укажите
Рисунок 5 - Вид вопросов о посещаемости лекций и семинаров
В рамках данного эксперимента проверялась гипотеза 3: при одновременном предъявлении респонденту вопросов, измеряющих разные аспекты одного и того же явления, его ответы будут более согласованы между собой, чем при последовательном предъявлении таких вопросов. Иными словами, корреляция между ответами на вопросы, выводящиеся на одном экране, выше, чем между ответами на вопросы, выдающимися последовательно на разных экранах онлайн-анкеты.
Эксперимент 4
Четвертый эксперимент был направлен на определение того, как размер окна для ввода данных в открытых вопросах влияет на желание давать более развернутые ответы. Использовали два формата открытых вопросов: с большим окном для ввода текста (рис. 6) и с маленьким окном для ответа (рис. 7). Завершал анкету вопрос: «Если в процессе опроса у Вас возникли какие-то комментарии, Вы можете оставить их ниже». Случайным образом половине респондентов выдавался первый формат вопроса, второй половине — второй формат.
Рисунок 6 - Формат вопроса с большим окном для ответа респондента
Нет комментариев □
Рисунок 7 - Формат вопроса с маленьким окном для ответа респондента
В рамках данного эксперимента сформулирована гипотеза 4 о том, что большое окно для ответа на открытый вопрос способствует получению более развернутых комментариев.
Результаты
Эксперимент 1
Результаты эксперимента с двумя форматами вопроса (слайдер и окно для ввода данных) не показали значимых различий в среднем времени ответа3. Среднее время заполнения вопроса в формате слайдер превысило среднее время заполнения в формате окна для ввода данных на 0,1 секунды. Значимые различия между обнаружены в долях респондентов, отметивших вариант «затрудняюсь ответить»: среди респондентов, отвечавших на открытый вопрос, доля выбравших несодержательную альтернативу — 32,9%; среди тех, кто отвечал на закрытый вопрос — 18,7%4. Таким образом, гипотеза 1 о том, что использование открытых вопросов ведет к увеличению среднего времени ответа на вопрос и увеличению доли несодержательных ответов, подтвердилась только в отношении выбора несодержательных альтернатив. Результаты демонстрируют отсутствие статистически значимых различий между средними значениями ответов в двух рассмотренных выборках5 и дисперсиями ответов в этих выборках6.
Эксперимент 2
Результаты второго эксперимента показали, что использование таблиц позволяет существенно сократить время заполнения вопросов. Среднее время ответа на вопрос об участии в различных видах учебной деятельности в формате таблицы составило 45,2 секунды, в формате кнопок — 63,1 секунды7. Среднее время заполнения вопросов о взаимодействии с преподавателями в формате таблицы — 39,8 секунд, в формате кнопок — 80,1 секунд8.
Также выявлены различия в количестве несодержательных ответов в зависимости от формата вопроса (табл. 1): чаще выбирали вариант «затрудняюсь ответить» респонденты, заполнявшие таблицы. Однако статистически значимыми эти различия оказались только для двух пунктов: (1) применение теоретических концепций к решению кейсов и практических задач9 в блоке вопросов об участии в различных видах учебной деятельности и (2) работали
3 г = 0,250, СГ = 1717, р=0,802.
4 х2 =48,882, СГ = 1, р<0,001.
5 г = 1,769, С1 = 1416, р = 0,77.
6 F = 3,341, р = 0,068.
7 г = -11,064, С1 = 1693, р<0,001.
8 г = -24,448, СГ = 1696, р<0,001.
9 х2 =4,470, С1 = 1, р<0,05.
22 _
с преподавателем во внеаудиторное время над исследовательским или творческим проектом (который не входит в Ваш учебный план)10 в блоке вопросов о взаимодействии с преподавателями.
Таблица 1 Доля респондентов, выбравших вариант «затрудняюсь ответить», в зависимости от формата представления вопроса, %
Таблицы (Л/=936) Кнопки (Л=930)
Как часто Ваше обучение в прошлом году предполагало выполнение следующих видов деятельности?
Переписывание материала с доски или со слайдов 0,9 0,2
Записывание учебного материала под диктовку 0,7 0,2
Заучивание конспектов лекций или методичек по курсу 1,6 0,9
Самостоятельный поиск нового материала по курсу в нескольких источниках 1,4 0,5
Приведение фактов и примеров в поддержку собственной точки зрения 2,7 1,7
Критический анализ идей, теорий и методов, описанных в работах ученых 4,4 3,3
Применение теоретических концепций к решению кейсов и практических задач 3,1* 1,6*
Оцените, как часто в прошлом учебном году Вы...
Обсуждали индивидуально с преподавателями Ваши оценки и задания по курсу 1,8 0,9
Обсуждали с преподавателями свои профессиональные, карьерные планы 1,6 0,9
Обсуждали с преподавателями во внеаудиторное время вопросы и идеи, связанные с курсом 1,4 1,5
Получали письменные комментарии преподавателей к выполненной Вами работе 1,7 0,9
Получали устные комментарии преподавателей к выполненной Вами работе 1,5 0,9
Обсуждали с преподавателями черновики письменных работ (за исключением курсовых и дипломных работ) 2,4 1,6
Работали с преподавателем во внеаудиторное время над исследовательским или творческим проектом (который не входит в Ваш учебный план) 2,5* 1,2*
*р<0,05
Ответы в двух форматах значительно различались по степени внутренней согласованности. Значение коэффициента альфа Кронбаха для вопросов об участии в различных видах учебной деятельности в формате таблицы составило 0,838, в формате кнопок — 0.423. Для блока вопросов о взаимодействии с преподавателями эти различия были не столь значимыми, но тенденция к увеличению значения коэффициента в таблицах сохранилась (0,877 — таблица, 0,856 — кнопки). Одним из объяснений таких результатов является тот факт, что респонденты заполняют таблицы менее добросовестно, выбирая одинаковые ответы на все вопросы, а не обдумывая каждый пункт отдельно. Так, на все вопросы об участии в различных видах учебной деятельности (в формате таблицы) одинаковые ответы (при условии, что время заполнения таблицы составило не более 10 секунд) дали 7,2% респондентов, в формате кнопок — 4,2%11. На все вопросы о
10 X2 = 4,236, df = 1, р<0,05.
11 х2 = 5,92, df = 1, р<0,05. 23 _
взаимодействии с преподавателями в формате таблицы одинаковые ответы дали 10,5% респондентов, в формате кнопок — 4.5%12.
Таким образом, гипотеза 2 о том, что использование вопросов в формате таблиц сокращает время заполнения вопросов, но приводит к увеличению доли пропущенных данных и количества недобросовестных ответов, подтвердилась.
Эксперимент 3
При анализе ответов с помощью г-теста Стьюдента обнаружено, что ответы, предъявленные одновременно либо последовательно на разных экранах, не различаются значительно13. Статистически значимые различия наблюдаются только по времени, затраченному на ответ: при первом экспериментальном условии ответ на два вопроса в среднем занял 22 секунды, во втором — 32 секунды14.
Корреляционный анализ Пирсона показал, что значение корреляции при одновременном предъявлении вопросов составляет 0,66415, при последовательном выводе вопросов на разных экранах — 0,56116. Таким образом, гипотеза 3 подтвердилась. Мы можем отметить, что при одновременном предъявлении вопросов, измеряющих разные аспекты одного и того же явления, респондент стремится к большей согласованности своих ответов, чем при последовательном. Этот вывод может быть использован исследователями при разработке дизайна инструментария. Если он разрабатывается для получения интегрального значения латентной переменной, для достижения большей надежности-согласованности пунктов следует разместить все вопросы, относящиеся к одному явлению, на одной странице онлайн-анкеты, т.е. показывать их респонденту одновременно. Если же важно получить не зависимые друг от друга оценки разных аспектов явления, желательно разместить вопросы для каждого аспекта на разных страницах и предъявлять их последовательно.
Эксперимент 4
В рамках анализа результатов четвертого эксперимента мы посчитали количество слов и знаков для каждого комментария, оставленного респондентами, а также удалили нетипичные наблюдения из выборочной совокупности (ответы респондентов, превысившие 200 слов или 2000 знаков с пробелами). В анализе участвовали 111 комментариев, оставленных при ответе на вопрос с большим окном для ввода текста, и 122 комментария — с маленьким окном. Среднее количество слов для первого формата равно 22, для второго — 16. Среднее количество знаков для разных форматов — 152 и 107 соответственно (табл. 2). Однако результаты г-теста Стьюдента показывают, что ответы респондентов на разные форматы одного вопроса незначительно отличаются между собой17. Это связано с тем, что изучаемые показатели имеют большой разброс значений: стандартное отклонение для количества слов равно 32,5 в первом формате и 27,2 во втором, а для количества знаков —
12 х2 = 23,829, СГ = 1, р<0,001.
13 Для вопроса о лекциях: г = 0,691, СГ = 2666, р = 0,557. Для вопроса о семинарах: г = 0,952, Сf = 2666, р = 0,653.
14 г = -11,997, Сf = 2131, р <0,001. Из анализа были удалены респонденты, время ответа на два вопроса которых превышало 5 минут.
15 N=1325, р <0,001.
16 N=1343, р <0,001.
17 Для количества слов: г = 1,755, Сf = 231, р = 0,081; для количества знаков с пробелами: г = 1,696, Сf = 231, р = 0,091.
24 _
превышает 180 в обоих форматах. Различий в доле студентов, оставивших комментарии к опросу в зависимости от размера окна для ответа, не обнаружено. Результаты не позволяют принять гипотезу 4 о влиянии размера окна для ответа на желание респондента оставить более полный комментарий.
Учитывая, что на вопрос о комментариях к анкете всегда отвечает небольшая доля респондентов, а разброс в ответах здесь велик, для получения достоверных выводов следует провести дополнительные исследования с другими формулировками вопросов.
Таблица 2 Описательные статистики для количества слов и знаков комментариев респондентов в зависимости от размера окна для ответа
Формат N Минимальное значение Максимальное значение18 Среднее значение Стандартное отклонение
1 Количество слов 111 1 187 22,3 32,5
Количество знаков с пробелами 111 2 1316 152,2 227,0
2 Количество слов 122 1 229 15,5 27,2
Количество знаков с пробелами 122 2 1484 106,7 181,9
Заключение
Была поставлена цель определить элементы оптимального дизайна инструментария для онлайн-опроса студентов, достигнутая с помощью четырех экспериментов с форматами и визуализацией вопросов. Можно констатировать, что респонденты чаще затрудняются с ответом при использовании формата окна для ввода данных, чем при формате слайдер. Возможно, формат окна для ввода данных неэффективен и его лучше заменить на слайдер или радиокнопки.
В рамках второго эксперимента удалось установить, что вопросы в табличном формате способны сократить время, затрачиваемое респондентом на ответ, но это приводит к большому числу несодержательных ответов, негативно влияющих на качество данных.
Третий эксперимент показал, что размещение вопросов, относящихся к разным аспектам одного явления, на одном экране может привести к получению более согласованных ответов. Исследователь должен внимательно относится к размещению вопросов.
Четвертый эксперимент не показал значимых статистических различий между длиной ответов и размером окна для ответа в открытом вопросе, хотя в других исследованиях такие различия были обнаружены. Для получения достоверных выводов следует повторить данный эксперимент с другой формулировкой вопроса.
18 После удаления ответов, превышающих 200 слов и 2000 знаков с пробелами. 25 _
Стоит отметить, что эксперименты с элементами дизайна анкеты проводились только на студенческой аудитории, что не позволяет распространять полученные данные на респондентов с другим социально-экономическим статусом.
Результаты экспериментов демонстрируют, что повысить качество данных можно не только за счет увеличения и улучшения выборки и формулировок вопросов, но и за счет работы с визуальными компонентами инструментария.
Литература
1 Bayer L., Thomas R. A comparison of sliding scales with other scale types in online survey : paper presented at the RC33 6th International Conference on Social Science Methodology, Amsterdam. 2004.
2 Bell D., Mangione C., Kahn C. Randomized testing of alternative survey formats using anonymous volunteers on the World Wide Web // Journal of the American Medical Informatics Association. 2001. Vol. 8, Nr 6. P. 616-620.
3 Bosnjak M. Participation in non-restricted web surveys : a typology and explanatory model for item non-response // Dimensions of Internet science. 2001. P. 193-208.
4 Callegaro M, Dennis J. M., Shand-Lubbers J. Presentation of a single item versus a grid : effects on the vitality and mental health subscales of the SF-36V2 Health Survey. 2009. URL: http://www.knowledgenetworks.com/ganp/docs/jsm2009/Presentation_of_single_ item_JSM_2009_submitted.pdf.
5 Couper M. Web surveys : a review of issues and approaches // Public Opinion Quarterly. 2000. Vol. 64. P. 464-494.
6 Couper M., Traugott M., Lamias M. Web survey design and administration // Public Opinion Quarterly. 2001. Vol. 65, Nr 2. P. 230-253.
7 Evaluating the effectiveness of visual analog scales : a web experiment / Couper M., Tourangeau R., Conrad F., Singer E. // Social Science Computer Review. 2006. Vol. 24, Nr 2. P. 227-245.
8 Funke F., Reips U., Thomas R. Sliders for the smart : type of rating scale on the web interacts with educational level // Social Science Computer Review. 2011. Vol. 29, Nr 2. P. 221-231.
9 Jackob N., Zerback T. Improving quality by lowering non-response : a guideline for online surveys : рaper presented at the WAPOR seminar, Cadenabbia, Italy. 2006.
10 Manfreda K. L., Batagelj Z., Vehovar V. Design of web survey questionnaires : three basic experiments // Journal of Computer-Mediated Communication. 2002. Vol. 7, Nr 3.
11 Manfreda K. L., Vehovar V. Survey design features influencing response rates in web surveys // The International Conference on Improving Surveys Proceedings. 2002.
12 Open-ended questions in web surveys : can increasing the size of answer boxes and providing extra verbal instructions improve response quality? / Smyth J., Dillman D., Christian L., McBride M // Public Opinion Quarterly. 2009. Vol. 73, Nr 2. P. 325337.
26 _
13 Open-ended vs. close-ended questions in web questionnaires / Reja U., Manfreda K. L., Hlebec V., Vehovar V. // Advances in Methodology and Statistics. 2003. Nr 19. P. 159-177.
14 Smith T. Little things matter : a sampler of how differences in questionnaire format can affect survey responses. 1998. (GSS Methodological Report ; Nr 78). URL: http://publicdata.norc.org:41000/gss/DOCUMENTS/REPORTS/Methodological_Re ports/MR078.pdf.
15 Toepoel V., Das M., Soest A. Effects of design in web surveys : comparing trained and fresh respondents // Public Opinion Quarterly. 2008. Vol. 72, Nr 5. P. 9851007.
16 Tourangeau R., Couper M., Conrad F. Spacing, position, and order: interpretive heuristics for visual features of survey questions // Public Opinion Quarterly. 2004. Vol. 68, Nr 3. P. 368-393.
17 Web survey design : paging versus scrolling / Peytchev A., Couper M., McCabe S., Crawford S. // Public Opinion Quarterly. 2006. Vol. 70, Nr 4. P. 596-607.
18 Web-based measurement : effect of completing single or multiple items per webpage / Thorndike F. P., Carlbring P., Smyth F. L. [et al.] // Computers in Human Behavior. 2009. Vol. 25, Nr 2. P. 393-401.
19 Zuell C., Menold N., Korber S. The influence of the answer box size on item nonresponse to open-ended questions in a web survey // Social Science Computer Review. 2014. P. 1-8.
