CC BY
221
ТЕОРИЯ, МЕТОДОЛОГИЯ И МЕТОДЫ
DOI: 10.14515/monitoring.2018.3.04 Правильная ссылка на статью:
Корытникова Н. В. Параметры проверки и контроля качества онлайн-опроса с использованием параданных // Мониторинг общественного мнения : Экономические и социальные перемены. 2018. № 3. С. 65—77. https://doi.org/10.14515/monitoring.2018.3.04. For citation:
Korytnikova N. V. (2018) Use of paradata in quality control of online survey. Monitoring of Public Opinion: Economic and Social Changes. No. 3. P. 65—77. https://doi.org/10.14515/ monitoring.2018.3.04.
Н.В. Корытникова
ПАРАМЕТРЫ ПРОВЕРКИ И КОНТРОЛЯ КАЧЕСТВА ОНЛАйН-ОПРОСА С ИСПОЛЬЗОВАНИЕМ ПАРАДАННЫХ
ПАРАМЕТРЫ ПРОВЕРКИ И КОНТРОЛЯ КАЧЕСТВА ОНЛАЙН-ОПРОСА С ИСПОЛЬЗОВАНИЕМ ПАРАДАННЫХ
КОРЫТНИКОВА Надежда Владимировна — кандидат социологических наук, доцент кафедры методов социологических исследований Харьковского национального университета имени В. Н. Каразина, Харьков, Украина. E-MAIL: kort-nadeshda@yandex.ru ORCID: 0000-0003-1740-5859
Аннотация. В статье рассмотрены типы параданных, доступных по ходу реализации онлайн-опроса, продемонстрированы их возможности для оценки качества проведенного исследования. Структура работы состоит из перечисления параметров пара-
USE OF PARADATA IN QUALITY CONTROL OF ONLINE SURVEY
Nadezhda V. KORYTNIKOVA1 — Cand. Sci. (Soc.), Associate Professor E-MAIL: kort-nadeshda@yandex.ru ORCID: 0000-0003-1740-5859
1 V. N. Karazin Kharkiv National University, Kharkiv, Ukraine
Abstract. The article examines types of paradata in online surveys and describes their potential for the survey quality assessment. The paper provides a list of paradata parameters based on the main types of survey errors ranging from measurement error to non-response bias.
данных в онлайн-опросе по основным ошибкам исследования, начиная с ошибки измерения и заканчивая ошибками неответов. Автор рассматривает доступные специалистам показатели качества и указывает на их роль в социологических программах сбора данных. В статье намечены перспективы включения параданных в аналитический обзор процедур проведения онлайн-опроса и методологического описания исследовательского подхода. Такая практика расширяет возможности получения достоверных результатов и надежной социологической информации.
Ключевые слова: онлайн-опрос, па-раданные, надежность, ошибки исследования
Актуальность использования параданных для оценки качества социологической информации, собранной посредством интернет-технологий, связана с насущной необходимостью разработки специальных подходов для получения достоверных результатов исследования на основе онлайн-методик. Методическая проблема онлайн-опросов заключается в том, что до сих пор не оформились теоретические концепты изучения интернет-аудитории, не утверждены единые стандарты применения той или иной техники и не обнаружены универсальные основы выборки для расчета репрезентативности [Стандартные определения..., 2016; Оценка качества опроса..., 2017]. Пока достоверность информации, получаемой в процессе социологического онлайн-опроса, зависит от принятой социологом теоретико-методологической парадигмы, тематического и предметного поля исследования, профессионального опыта и личности исполнителя. На качество данных могут влиять и довольно случайные обстоятельства, сложившиеся в период активных исследовательских действий и способствующие принятию тех или иных организационных и методических решений. Разумеется, такое положение дел вызывает критику со стороны оппонентов, придерживающихся других взглядов на процедуры проведения онлайн-опросов.
Обсуждение надежности онлайн-методик сводится к тому, что требуется использование объективных показателей качества с опорой на такие техники, которые не будут зависеть от внешних или внутренних факторов, а однозначно будут способствовать уменьшению ошибок исследования на всех этапах сбора данных. Поэтому принципиально важно выделить способы проверки и контроля качества данных, полученных в результате онлайн-опроса.
The author considers available research quality indicators and stresses their role in the sociological data collection programs. The article outlines prospects of paradata incorporation into analytical review of online survey procedures and research methods. This helps to get consistent results and acquire reliable sociological data.
Keywords: online survey, paradata, reliability, survey errors
Если для традиционных очных и заочных опросов уже приняты соответствующие принципы определения надежности собранных данных (см. напр. работы [Саганенко, 2017, 1979; Докторов, 1979; Волович, 1974; Сапонов, 2015]), то для онлайн-методик такие процедуры еще только разрабатываются и уточняются (см. [Девятко, 2010; Мавлетова, 2010; Некрасов, 2011; Стребков, 2010; Малошонок, Тереньтев, 2014; Терентьев и др., 2016] и др.). В частности, А. Мавлетова сравнивала качество данных между двумя режимами онлайн-опроса, проводимого с помощью персонального компьютера и с помощью мобильного телефона. Для этого автор использовала пять показателей: (a) показатели завершения, (b) эффекты порядка ответа, (с) социальная желательность, (d) несущественные ответы и (e) длина открытых ответов [Mavletova, 2010].
На преимущества применения метода онлайн-опроса указывала И. Ф. Девятко. Комментируя ее точку зрения, необходимо учитывать следующие особенности опроса, опосредованного интернетом: 1) технологичность доступа к респондентам (для проверки IP-адреса, рассмотрения точек перехода к анкете, учета сведений о браузере и операционной системе и т. п.); 2) широту пространственного охвата при фиксированном бюджете; 3) управление временными параметрами опроса (для получения сведений о частоте обращения к онлайн-анкете, о последовательности и корректности ее заполнения, для реализации сложных процедур прохождения опроса, например, привязка доступа к анкете ко времени значимых офлайн событий контакта с отдельными группами опрошенных); 4) контроль за качеством ввода ответов и процессом кодирования и обработки опросных данных (вопросы-ловушки, открытые вопросы и т. п.); 5) относительную легкость реализации процедур контроля над выборочными единицами (доступность верификации данных респондентов через профили в социальных сетях); 6) упрощенный прямой контроль через обратную связь с респондентами [Девятко, 2010].
«Общая теория ошибок» служит своеобразным индикатором качества данных, которое обычно оценивается предельной допустимой ошибкой репрезентативности [Deming, 1944]. В социальных исследованиях общая парадигма ошибок устанавливает несколько их источников: ошибки измерения, ошибки обработки, ошибки покрытия, ошибки неохвата, ошибки неполучения и ошибки перебора [Groves, Lyberg, 2010]. Для общей оценки качества данных, получаемых в онлайн-опросах, следует проверить параметры, указывающие на наличие тех или иных типов ошибок, и рассчитать значение каждой из них с помощью параданных.
Исходя из многогранности и многочисленности перечисленных особенностей, влияющих на надежность результатов опроса, целесообразно использовать пара-данные, то есть информацию о реакции и поведении каждого участника исследовательского процесса. С опорой на автоматически зафиксированные параданные в программу исследования вводятся универсальные параметры проверки и контроля качества онлайн-опроса, чтобы скорректировать ошибки исследования.
1. Ошибка измерения (measurement error)
Одним из первых источников ошибок, изученных с помощью параданных, была ошибка измерения, то есть отклонение полученных ответов от их реального значения. С компьютеризацией опросов и увеличением количества онлайн-опросов
параданные стали использоваться в ходе апробации инструментария на интерактивность и уместность визуализации, для выявления сбоев в процессе когнитивного восприятия респондентами формулировок анкеты в онлайн-формате. Расширение использования компьютеризированных социальных измерений привело к методологическим работам, где с целью выявления ошибок измерения подробно рассматриваются такие параданные, как время отклика, нажатия клавиш, щелчки мышью и т. д. [Olson, Parkhurst, 2013; Yan, Olson, 2013]. Далее приведены некоторые примеры индикаторов для обнаружения ошибки измерения.
1.1. Различия в ответах в зависимости от формата вопроса. С помощью доли неответов на разные по форме вопросы рассчитывается вероятность пропуска ответа на тот или иной вопрос.
1.1.1. Ответы на открытые вопросы. Рассматривается количество знаков в самостоятельно составленном тексте респондента, соотношение адекватных ответов и «отписок» (бессмысленный набор знаков, фразы вне контекста темы, критика анкеты, отвлеченный комментарий и др.).
1.1.2. Ответы в табличных вопросах. Определяется количество стереотипно отвечающих респондентов, например, выделяющих только среднюю колонку в таблице. Так называемые стрейтлайнеры (от англ. «straight-line» — прямолинейно) выбирают тактику быстрого заполнения анкеты и выдают приемлемые, но не всегда точные ответы, что влечет за собой снижение качества результатов. Кроме того, «прямолинейность» связана с уровнем образования, а именно: ускоренное прохождение анкеты коррелирует с резким увеличением линейности у респондентов с низким уровнем образования, в то время как среди высокообразованных увеличение доли «прямолинейных» ответов менее распространено [Zhang, Conrad, 2014].
1.1.3. Вопросы с множественными ответами. Учитывается среднее количество выборов вариантов ответов и дисперсия значений по конкретным респондентам. Подозрение вызовут те, чьи ответы будут выбиваться от среднего значения по массиву.
1.1.4. Визуальное дополнение к оформлению вопроса. Графические или символические элементы наряду с текстом часто включаются в веб-вопросник, помогая респондентам вникнуть в суть вопроса и не потеряться в вариантах ответа. В специальном эксперименте ученые сравнивали разные форматы визуализации вариантов ответов. Так, в вопросе об удовлетворенности онлайн-опросом использовались две шкалы: обычная шкала удовлетворенности и шкала в виде набора положительных и отрицательных смайликов. В результате респонденты на вопросы со смайликами тратили меньше времени на чтение текста вопроса и выбор ответа, чем респонденты на вопросы без смайликов, хотя на распределение ответов это не повлияло [Stange et al., 2016].
1.2. Фрагментарность ответов. Анкета заполняется фрагментарно, когда при прохождении веб-опросника пользователи одновременно участвуют в других видах деятельности (переписка в мессенджерах, работа с результатами поиска, онлайн-игры, интернет-коммерция и т. д.), так называемая многозадачность работы за компьютером. Для оценки качества опросов в интернете группа ученых из Университета Любляны разработала свой подход к измерению многозадач-
ности онлайн-респондентов (respondent multitasking), в котором используются различные типы параданных, в том числе и нереактивные электронные следы в процессе ответов респондентов на веб-анкету. Этот подход позволил определить, что 62 % респондентов выполняли несколько задач во время опроса [Sendelbah et al., 2016].
1.3. Юзабилити-тестирование [Couper, 2000; Малошонок, Тереньтев, 2014; Терентьев, Нефедова, Груздев, 2016]. В дополнение к формулировке вопроса требуется отдельная работа над дизайном инструментария (фон, шрифт, анимация), техническим воплощением (навигация по веб-анкете, игровые элементы, аудио-и видео- сопровождение), эргономичностью применения. От результата теста зависит, насколько просто и понятно будет работать респондентам. Оформление веб-анкеты занимает на порядок больше сил, времени и ресурсов, чем верстка ее бумажного аналога. Программные средства для этих целей становятся все более сложными, что требует новых навыков от организаторов, а порой подключения специалистов для индивидуального веб-программирования. Юзабилити-тестирование необходимо для оценки удобства веб-анкеты как со стороны респондентов, так и со стороны рекрутеров и исследователей. Например, в практике онлайн-опросов наблюдаются значительные различия в том, как респонденты перемещаются по инструментарию с помощью кнопок «Далее» и «Назад». Между исследователями проходят дискуссии о том, где размещать эти кнопки и как лучше всего их спроектировать для поощрения желаемого поведения. М. Купер, Р. Бэйкер и Дж. Мечлинг опубликовали результаты эксперимента с различным расположением и дизайном кнопок навигации в веб-анкете, подчеркнув последствия для практики использования этих элементов вопросника на время завершения опроса [Couper, Baker, Mechling, 2011].
2. Ошибка покрытия (coverage error)
В онлайн-опросе ошибка покрытия связана с общей неразвитостью региональной цифровой инфраструктуры, отсутствием у определенных категорий населения подключения к интернету, проблемами компьютерной грамотности, что в целом приводит к проблеме отбора респондентов. При определении ошибки покрытия в онлайн-опросах сопоставляются два множества — интернет-пользователей и тех, кто не имеет доступа к интернету, то есть вычисляется разность между показателем, соответствующим выборке по всему населению или изучаемому объекту, и тем же показателем, соответствующим выборке по интернет-пользователям. Для расчета ошибки покрытия необходимо выполнить три действия: «1) оценить объем исключенной группы, 2) определить набор показателей, по которым исключенная группа значимо отличается от группы, попавшей в выборку, 3) оценить различие групп по отобранным показателям» [Сапонов, 2015].
Следовательно, для оценки ошибки покрытия требуются достоверные и точные данные об интернет-аудитории, методики оценки объема которой до сих пор являются предметом научных дискуссий. Кого считать пользователем сети? Тех, кто обладает техническими возможностями подключения к глобальной сети; или тех, кто хотя бы один раз зашел на какой-нибудь интернет-ресурс; или тех, кто пользуется сетью нерегулярно; или тех, кто ежедневно заходит в интернет? И т. д. Также суще-
ствуют разногласия по поводу методов сбора информации об интернет-аудитории (опросные технологии или автоматизированные счетчики). Первые ориентируются на данные исследовательских компаний, собирающих информацию методом телефонного или очного интервью по общенациональной выборке (например, отчет КМИС *). Другие опираются на данные автоматизированных методов оценки глобального использования интернета (например, международные организации, занимающиеся обобщением данных о распределении интернет-аудитории на основе веб-статистики: Internet World Stats 2; ЮНЕСКО 3, Международный союз по вопросам телекоммуникаций (International Télécommunication Union (ITU) 4). Имеющиеся разночтения в оценках размера интернет-аудитории создают сложности при формировании основы выборки и расчета случайной ошибки, поэтому предполагают детальное обоснование в каждом конкретном случае реализации дизайна выборки для онлайн-опроса. Таким образом, анализ любых доступных данных о смещениях из-за ошибки покрытия следует включать в общий перечень показателей для оценки качества.
3. Ошибка неохвата (error of unreach)
Этот тип ошибки вызван сложностями при получении контактной информации
0 потенциальном участнике опроса, низким уровнем кооперации с социологом, редким посещением интернета респондента, попавшего в выборку, или фактического отсутствия его на интернет-площадках, используемых для передачи приглашения. Принципиальное отличие от ошибки покрытия в том, что ошибка неохвата учитывает то, что участие в опросе зависит не от факта технического доступа к интернету респондента, а от возможности установить с ним первичное сотрудничество даже при наличии подключения к сети.
Данные скрининг-интервью и любая другая контекстная информация о респонденте на контактоустанавливающей стадии указывают на риск появления ошибки неохвата и ее размер, а также являются вспомогательным источником фактов для корректировки неответов в ходе анализа. Именно систематическая оценка этих параданных поможет идентифицировать и тем самым уменьшить смещение в данных опроса еще на этапе сбора информации. К показателям, нивелирующим ошибку неохвата, относятся следующие параданные:
3.1. Результативность контактов. По социально-демографическому составу или другим критериям выборки сопоставляются доли тех, кто отреагировал на анкету, и тех, кто не откликнулся на приглашение.
3.2. Временные рамки. Фиксация времени подразумевает наблюдение над астрономическим временем (дата и время начала и окончания опроса для поиска наиболее продуктивной части суток), административным временем (установление контакта, решение вопросов доступа, дополнительный инструктаж для реализации индивидуального подхода к каждому респонденту), «чистым» временем
1 Динамика пользования интернет в Украине: февраль-март 2016 [Электронный ресурс]. URL: http://www.kiis.com. ua/?lang=rus&cat=reports&id=621&page=1&t=5 (дата обращения: 24.05.2018).
2 URL: http://www.internetworldstats.com/ (дата обращения: 24.05.2018).
3 URL: http://uis.unesco.org/en/country/ua (дата обращения: 24.05.2018).
4 URL: http://www.itu.int/en/ITU-D/Statistics/Pages/stat/default.aspx (дата обращения: 24.05.2018).
заполнения (количество минут, затраченное на работу с анкетой для выявления, к примеру, спидстеров (speedster) — респондентов, которые настолько быстро заполнили анкету, что нельзя признать работу над ней осознанной и обдуманной) и т. п. По среднему времени прохождения опроса обнаруживаются те, кто потратил на заполнение анкеты слишком мало времени, так как считается, что респонденты делают это механически, бессмысленно и некачественно, поэтому их ответы нельзя рассматривать адекватно и следует исключать из анализа. Сюда же входит замер времени заполнения отдельного вопроса и колебания в ответе на него, сопутствующие комментарии к вопросам и различного рода замечания по окончании опроса. Эти детали указывают на особенности восприятия формулировок анкеты респондентами, позволяют оценить уровень осведомленности, устойчивости и осмысленности выбора варианта ответов.
3.3. Число сеансов работы с анкетой. Выясняется, сколько раз респондент возвращался к заполнению анкеты в случаях, когда это не было сделано сразу.
3.4. Оптимальное число напоминаний. Считается среднее количество разосланных напоминаний в зависимости от результативности контакта.
3.5. Технические сбои. Учитываются недоставленные сообщения, некорректная контактная информация, несрабатывание ключа доступа, ошибки сервера, пользовательские настройки, создающие барьеры для отображения онлайн-анкеты.
Перспективным считается подход, когда и после полевого этапа исследователи обращаются к перечисленным показателям, чтобы спрогнозировать склонность к ответу (response propensity) на ключевые переменные анкеты для каждого респондента. Так, при описании потенциала параданных в социологических исследованиях Б. Круэгер и Б. Вест использовали вспомогательные сведения для выявления различных установок и моделей поведения при заполнении анкеты, чтобы потом реализовать процедуру перевзвешивания и постстратификации. Согласно их выводам, учет склонности к ответу в уравнении взвешивания часто приводит к заметным различиям в вычислениях ошибки неохвата [Krueger, West, 2014].
4. Ошибка перебора (error of excess)
Качество данных онлайн-исследований кроме прочего связано и с мотивацией к участию, которая может быть символической, моральной и/или материальной. При использовании стратегии специальных стимулов в ходе рекрутинга повышается вероятность ошибок из-за фактов множественного прохождения опроса, подачи некорректных данных в скрининговой части анкеты. Ожидание вознаграждения у некоторых респондентов вызывает желание манипулировать своими ответами, неоднократно дублировать заполнение анкеты и прибегать к другим уловкам, чтобы больше заработать денег или бонусов. Не исключается возможность повторного приглашения при их рассылке по разным адресам электронной почты одного и того же респондента. Значение ошибки перебора рассчитывается на основе следующих показателей:
4.1. Факты множественного заполнения анкеты. Выявление анкет от «профессиональных» респондентов производится с помощью проверки параданных в учетных записях (сопоставление IP-адреса, выделение одинаковых e-mail адресов, телефонов, паролей и т. п.). Сегодня разработаны автоматизированные способы
контроля недобросовестных участников. Наиболее распространена технология уникальных ссылок, которая включается в приглашение респондентов и разрешает пройти анкету только один раз. При повторном переходе пользователя по ссылке ему выдается сообщение, что он уже заполнял эту анкету. Другая технология связана с обнаружением «цифровых следов»—невидимых для пользователя деталей работы с онлайн-анкетой. При необходимости несанкционированное обращение к анкете блокируется. При оценке качества онлайн-опроса сведения о таких попытках также могут стать отдельным предметом рассмотрения.
4.2. Управление процедурой рекрутинга. При описании особенностей управления процедурой отбора учитывается ряд показателей для выявления и корректировки случаев, когда в выборке наблюдается избыток активных и слишком мотивированных участников. Таких респондентов можно найти по источникам рекрутирования, через отношение к опросу, регулярность общения с исследователями и друг с другом на сайте организации, в форме обратной связи или других частей анкеты, сообщениях на форумах и постах в интернет-сообществах, используемых как площадка для рекрутинга, и т. д.
4.3. Верификация персональных данных. Сопоставляются персональные данные (место проживания, пол, возраст, образование, профессиональная деятельность), указанные в анкете, с теми же данными из других источников, а именно: профилей в социальных сетях, сведениях, предъявленных лично при получении материального вознаграждения.
4.4. Наличие подозрительных действий респондентов. В заполненных анкетах встречаются отдельные сомнительные факты, связанные со свойствами или активностью объекта исследования, которые указывают на действия, не характерные добросовестным респондентам. В каждом таком случае требуется детальное рассмотрение и принятие коллегиального решения по включению или исключению анкеты, но это всегда будет индивидуальный подход, так как не существует определенного набора таких эпизодов, которые могут служить универсальными признаками подозрительных действий для других исследований.
5. Ошибка неответов (non-response error)
В связи с кризисом опросной индустрии это, пожалуй, самая обсуждаемая и распространенная ошибка [Olson, 2013; Sax, Gilmartin, Bryant, 2003; Heerwegh et al., 2005]. Она свидетельствует о погрешности в результатах из-за отказов и неполных ответов, усталости онлайн-панели (panel attrition). Показатели для вычисления ошибки неответов можно разделить на две группы:
а) Ошибка ненаблюдения (error unobserved). Ошибка из-за игнорирования или явного отказа от участия в опросе возникает по различным причинам: нехватка времени, сензитивность темы опроса, агрессивность к процедуре интервьюирования, незаинтересованность в общении с социологом, неприятие интерактивности онлайн-формата опроса или особые личные мотивы. Об ошибке ненаблюдения свидетельствуют следующие показатели:
5.1. Доля ответивших. Вычисляется как отношение количества полностью завершенных анкет к планируемому объему выборки или количеству получивших доступ к опросу.
5.2. Состояние контакта. Различаются категорический отказ (принципиально не желающих проходить анкету ни при каких условиях), отложенный отказ (соглашающихся ответить на вопросы, но пока не имеющих на это возможности).
5.3. Степень усталости панели. На основе анализа семи волн панельного опроса Дж. Робман и Т. Гуммер оценивали влияние некоторых параданных (время ответа, история участия панелиста и др.) на уровень отказов от опроса. В результате построенной модели они смогли более точно определять вероятность отказов тех или иных участников панели [Roßmann, Gummer, 2016].
б) Ошибка неполучения (Error of non receipt). Возникает, если встречаются неполные ответы (респондент дает обрывочные, односложные, несоответствующие нужному количеству выборов ответы), недобросовестные ответы (респондент специально или неосознанно вводит в заблуждение своими ответами), некомпетентные ответы (респондент не обладает необходимыми знаниями, но пытается дать содержательный ответ), социально желательные ответы (респондент стремится представить себя в наилучшем свете, фантазирует в ответах для повышения собственной самооценки), прерывание опроса без очевидных причин (респондент приступил к прохождению анкеты, но не закончил ее), частичное заполнение (респондент выборочно отвечает, пропуская сложные или непонравившиеся ему вопросы). Далее перечислен приблизительный набор индикаторов для определения ошибки неполучения:
5.4. Количество прервавших опрос респондентов. Выделяется группа респондентов, прервавших опрос, и характеризуется по социально-демографическим и другим доступным признакам для нахождения латентных причин преждевременного завершения опроса. В частности, на прерывание онлайн-опроса может влиять дробность шкалы степени заполненности анкеты, число страниц веб-анкеты и другое.
5.5. Доля пропущенных вопросов. По каждому участнику подсчитывается частота уклонения от ответа или выбора отметки «Затрудняюсь ответить». В платформах для онлайн-опросов можно регулировать обязательность заполнения того или иного пункта анкеты. В случае пропуска определенного вопроса запрещается переход к следующему вопросу, поэтому важно найти баланс между жестким требованием ответа и опасностью получить частично заполненную анкету.
5.6. Случаи противоречивых ответов. Обнаруживаются с помощью логического сопоставления полученных данных (несоответствие объективной информации, хаотичный набор символов в ответе на открытый вопрос, неправильный формат ввода чисел или текста и др.) и контрольных вопросов (одинаковые вопросы в разных частях анкеты, вопросы-ловушки на проверку внимания, вопросы с взаимоисключающими альтернативами и др.).
5.7. Субъективная оценка удовлетворенности опросом. Выясняется на основе рефлексии интернет-пользователей с точки зрения их личного участия в опросе и собственного вклада в исследование. Для оценки удовлетворенности опросом используются следующие индикаторы: заинтересованность, актуальность и новизна, понятность содержания, целесообразность и полезность, спектр эмоций и общее настроение.
Таким образом, на основе рассмотренных параметров необходимо разработать и стандартизировать подробный план контроля качества данных онлайн-опроса
как систематический сбор информации о деятельности субъектов и объектов в рамках социологического исследования. В итоге сформировать электронный массив параданных по результатам контроля и разработать подробный отчет о качестве выполнения основных опросных процедур. Эти характеристики помогут составить аналитический отчет о качестве полученных данных и будут способствовать оптимальному управлению процессом самого опроса, приведут к получению нового методического знания.
Список литературы (References)
Волович В. И. Надежность информации в социологическом исследовании. Киев : Наукова думка, 1974. 133 с.
Volovich V. I. (1974) Reliability of Information in a Sociological Study. Kiev: Naukova Dumka. 133 p. (In Russ.)
Девятко И. Ф. Онлайн-исследования и методология социальных наук: новые горизонты, новые (и не очень новые) трудности // Онлайн исследования в России 2.0 / под ред. А. В. Шашкина, И. Ф. Девятко, С. Г. Давыдова. М. : Северо-Восток, 2010. C. 17—30.
Devyatko I. F. (2010) Online Research and Methodology of Social Sciences: New Horizons, New (and not so new) Difficulties. In: Online research in Russia 2.0 / Ed. by A. V. Shashkina, I. F. Devyatko, S. G. Davydov. M.: North East. P. 17—30. (In Russ.)
Докторов Б. З. О надежности измерения в социологическом исследовании / под ред. Б. М. Фирсова. Ленинград : Наука (Ленинградское отделение), 1979. 128 с. DoctorovB.Z. (1979) On the Reliability of Measurement in Sociological Research / Ed. by B. М. Firsova. Leningrad: Nauka (Leningrad Branch). 128 p. (In Russ.)
Мавлетова А. М. Борьба за качество и надежность данных в онлайн исследованиях: основные результаты панельной конференции CASRO 2009 г. // Онлайн исследования в России 2.0 / под ред. А. В. Шашкина, И. Ф. Девятко, С. Г. Давыдова. М. : РИЦ «Северо-Восток», 2010. C. 43—61.
Mavletova A. M. (2010) Struggle for Data Quality and Reliability in Online Research: Main Results of the CASRO Panel Conference 2009. In: Online research in Russia 2.0 / Ed. by A. V. Shashkina, I. F. Devyatko, S. G. Davydov. Moscow: North East. P. 43—61. (In Russ.)
Малошонок Н. Г., Терентьев Е. А. Влияние дизайна анкеты на качество данных в он-лайн-опросах студентов // Мониторинг общественного мнения : Экономические и социальные перемены. 2014. № 6. С. 15—27. https://doi.org/10.14515/ monitoring.2014.6.02.
Maloshonok N. G., Terent'ev E.A. (2014) Effects of Questionnaire Design on Data Quality in Student Online Surveys. Monitoring of Public Opinion: Economic and Social Changes. No. 4. P. 15—27. https://doi.org/10.14515/monitoring.2014.6.02. (In Russ.)
Некрасов С. И. Сравнение результатов онлайн- и оффлайн-опросов (на примере анкет разной сложности) // Социология: 4 М. 2011. № 32. С. 53—74.
NekrasovS. I. (2011) Comparison of the Results of Online and Offline Surveys (the Case of the Questionnaires of Different Complexity). Sociology 4M. No. 32. P. 53—74. (In Russ.)
Саганенко Г. И. Социологическая информация: статистическая оценка надежности исходных данных социологического исследования. Ленинград : Наука, 1979. 142 с. Saganenko G. I. (1979). Sociological Information: Statistical Estimation of Primary Data Quality. Leningrad: Nauka. 142 p. (in Russ.)
Саганенко Г. И. Надежность результатов социологического исследования. Изд. 2. М. : URSS, 2017. 200 с.
Saganenko G. I. (2017) Reliability of the results of sociological research. 2nd ed. Moscow: USSR. 200 p. (In Russ.)
Сапонов Д. И. Типы ошибок покрытия в телефонном опросе // Мониторинг общественного мнения : Экономические и социальные перемены. 2015. № 4. С. 36—49. https://doi.org/10.14515/monitoring.2015.4.02.
Saponov D. I. (2015) Coverage error typology in telephone survey. Monitoring of Public Opinion: Economic and Social Changes. No. 4. P. 36—49. https://doi.org/10.14515/ monitoring.2015.4.02. (In Russ.)
Стандартные определения : Систематическое описание диспозицонных кодов и коэффициентов результативности для массовых опросов / Американская ассоциация исследователей общественного мнения ; пер. с англ. А. А. Ипатовой, Д. М. Рогозина. 8-е изд. М. : АО «ВЦИОМ», 2016. 88 с.
Standard Definitions: Final Dispositions of Case Codes and Outcome Rates for Surveys (2016) American Association for Public Opinion Research. Transl. from Eng. by A. A. Ipatova, D. M. Rogozin. 8-th ed. Moscow: Russian Public Opinion Research Center (VCIOM). 88 p. (In Russ.)
Оценка качества опроса в сложных реалиях сегодняшнего дня. Социальные медиа в исследовании общественного мнения: отчет рабочей группы AAPOR о новых технологиях в исследовании общественного мнения / Американская ассоциация исследователей общественного мнения ; пер. с англ. В. Л. Силаевой, О. А. Оберемко. М. : АО «ВЦИОМ», 2017. 78 с.
Evaluating Survey Quality in Today's Complex Environment. Social Media in Public Opinion Research: Report of the AAPOR Task Force on Emerging Technologies in Public Opinion Research (2017) American Association for Public Opinion Research. Transl. from Eng. by V. L. Silaeva, O. A. Oberemko. Moscow: Russian Public Opinion Research Center (VCIOM). 78 p. (In Russ.)
Стребков Д. О. Познавательные возможности онлайн-опросов в российской исследовательской практике (на примере опроса интернет-фрилансеров) // Социология: 4 М. 2010. № 31. С. 135—161.
StrebkovD. O. (2010) Cognitive Capabilities of Online Surveys in Russian Research Practice (the Case of Survey of Internet-freelancers). Sociology 4M. No. 31. P. 135— 161. (In Russ.)
Терентьев Е. А., Нефедова А. И., Груздев И. А. Влияние визуализации опросного инструментария в онлайн-исследованиях на качество данных // Мониторинг общественного мнения : Экономические и социальные перемены. 2016. № 5. С. 1—15. https://doi.Org/10.14515/monitoring.2016.5.01.
Terentiev E.A., Nefedova A. I., Gruzdev I.A. (2016) Visualization of questionnaire in online surveys: how different design features impact the data quality. Monitoring of Public Opinion: Economic and Social Changes. No. 5. P. 1—15. (In Russ.) https://doi. org/10.14515/monitoring.2016.5.01.
Couper M. (2000) Usability evaluation of computer-assisted survey instruments. Social Science Computer Review. Vol. 18. No. 4. P. 384—396. https://doi. org/10.1177/089443930001800402.
Couper M. P., Baker R., MechlingJ. (2011) Placement and Design of Navigation Buttons in Web Surveys. Survey Practice. Vol. 4. No. 1. Р. 1—11. https://doi.org/10.29115/ SP-2011-0001.
Deming W. E. (1944) On Errors in Surveys. American Sociological Review. No. 9. Р. 359—369. https://doi.org/10.2307/2085979.
Groves R. M., Lyberg L. (2010) Total Survey Error: Past, Present, and Future. Public Opinion Quarterly. Vol. 74. No. 5. P. 849—879. https://doi.org/10.1093/poq/nfq065.
Heerwegh D., Vanhove T., Matthijs K., Loosveldt G. (2005) The Effect of Personalization on Response Rates and Data Quality in Web Surveys. Int. J. Social Research Methodology. Vol. 8. No. 2. P. 85—99. https://doi.org/10.1080/1364557042000 203107.
KruegerB. S., West B. T. (2014) Assessing the Potential of Paradata and Other Auxiliary Data for Nonresponse Adjustments. Public Opinion Quarterly. Vol. 78. No. 4. P. 795— 831. https://doi.org/10.1093/poq/nfu040.
Mavletova A. (2013) Data Quality in PC and Mobile Web Surveys. Social Science Computer Review. Vol. 31. № 6. Р. 725—743.
Olson K. (2013) Paradata for Nonresponse Adjustment. The ANNALS of the American Academy of Political and Social Science. Vol. 645. No. 1. P. 142—170. https://doi. org/10.1177/0002716212459475.
Olson K., Parkhurst B. (2013) Collecting Paradata for Measurement Error Evaluations. Chapter 3. In: Improving Surveys with Paradata: Analytic Uses of Process Information. First Edition. Ed. by Frauke Kreuter. Hoboken, NJ: John Wiley & Sons. P. 43—72. https:// doi.org/10.1002/9781118596869.ch3.
Roßmann J., Gummer T. (2016) Using Paradata to Predict and Correct for Panel Attrition. Social Science Computer Review. Vol. 34. No. 3. Р. 312—332. https://doi. org/10.1177/0894439315587258.
Sax L. J., Gilmartin Sh.K., Bryant A. N. (2003) Assessing Response Rates and Nonresponse Bias in Web and Paper Surveys. Research in Higher Education. Vol. 44. No. 4. Р. 409—432. https://doi.org/10.1023/A:1024232915870.
Sendelbah A., Vehovar V., Slavec A., Petrovcic A. (2016) Investigating respondent multitasking in web surveys using paradata. Computers in Human Behavior. Vol. 55. PartB. P. 777—787. https://doi.Org/10.1016/j.chb.2015.10.028.
Stange M., Barry A., Smyth J., Olson K. (2016) Effects of Smiley Face Scales on Visual Processing of Satisfaction Questions in Web Surveys. Social Science Computer Review. https://doi.org/10.1177/0894439316674166.
Yan T., Olson K. (2013) Analyzing Paradata to Investigate Measurement Error. Chapter 4. In: Improving Surveys with Paradata: Analytic Uses of Process Information, First Edition. Ed. by Frauke Kreuter. Hoboken, NJ: John Wiley & Sons. P. 73—95. https:// doi.org/10.1002/9781118596869.ch4.
Zhang Ch., Conrad F. G. (2014) Speeding in Web Surveys: The tendency to answer very fast and its association with straightlining. Survey Research Methods. Vol. 8. No. 2. P. 127—135. http://dx.doi.org/10.18148/srm/2014.v8i2.5453.
