CC BY
177
информатика
УДК 004.77 DOI dx.doi.org/10.24866/VVSU/2073-3984/2017-4/223-235
С.Н. Мартышенко
Владивостокский государственный университет экономики и сервиса
Владивосток. Россия
Метод повышения достоверности данных онлайн-опросов
В последние годы многократно возросло количество онлайн-опросов, которые используются в качестве исследовательских инструментов экономических процессов. Этому способствовало распространение специальных сервисов по конструированию анкет для дальнейшего представления их в сети. Из-за отсутствия прямого контакта с респондентами проблема достоверности данных при онлайн-опросах только усугубилась по сравнению с традиционными опросами с использованием бумажного носителя. В работе представлен метод оценки достоверности ответов респондентов, основанный на анализе попарного сравнения значений номинальных признаков, которые наиболее распространены в онлайн-опросах. В основе метода лежит процедура «скользящего экзамена». Сформулированы основные гипотезы, которые положены в основу разработанного метода достоверности анкетных данных. На основе многомерных данных выборки, сформированной в результате анкетного опроса, рассчитывается единый интегральный критерий, позволяющий выделить «подозрительные» анкеты, которые противоречат общей логике восприятия респондентами исследуемого в анкетном опросе социально-экономического процесса. Процедура по вычислению критерия рассматривается на примере некоторых модельных данных. Преимуществом использования критерия оценки достоверности данных является оперативность анализа данных в процессе их сбора в сети, что позволяет принимать решения по улучшению качества собираемых данных. Рассмотренный метод может быть использован для анализа различных типов данных после предварительного преобразования признаков к номинальной шкале измерения.
Ключевые слова и словосочетания: анкетный опрос, качество данных, онлайн-опрос, многомерные статистические методы, критерий оценки качества данных, компьютерная технология, интернет-сервис.
S.N. Martyshenko
Vladivostok State University of Economics and Service
Vladivostok. Russia
The method of increasing the reliability of online survey
In recent years, the number of online surveys has increased many times, which are used as research tools for economic processes. This was facilitated by the distribution of special services for the design of questionnaires for further presentation in the network. Because of the lack of direct contact with respondents, the problem of data reliability during online surveys only worsened compared to traditional paper-based surveys. The paper presents a method for assessing the reliability of respondents' answers based on an analysis of the pairwise comparison of the values nominal characteristics that are most common in online surveys. The method is based on the procedure of "sliding examination". The main hypotheses that form the basis of the developed method of reliability of questionnaire data are formulated. On the basis of multidimensional data from the sample formed as a result of the questionnaire, a single integral criterion is calculated that makes it possible to identify "suspicious" questionnaires that contradict the general logic of respondents' perception of the socioeconomic process studied in the questionnaire. The procedure for calculating the criterion is considered using an example of some model data. The advantage of using the criterion for assessing the reliability of data is the speed of data analysis in the process of collecting them in the network, which makes it possible to make
Сергей Николаевич Мартышенко - канд. техн. наук, профессор кафедры математики и моделирования; 690014, Россия, Владивосток, ул. Гоголя, 41; е-тай: sergey.martishenko@vvsu.ru.
decisions to improve the quality of the data collected. The considered method can be used for the analysis of various types of data after preliminary transformation of characteristics to a nominal scale of measurement. Keywords: questionnaire, data quality, online survey, multidimensional statistical methods, the criterion for assessing data quality, computer technology, Internet service.
Введение
В последние годы в России для исследования социально-экономических процессов широко используются онлайн-опросы [12]. Количество онлайн-опросов возросло многократно после того, как получили распространение специальные сервисы по конструированию онлайн-анкет и сопровождению процесса анкетирования в сети Интернет [1, 3]. В публикациях российских ученых продолжаются дискуссии относительно эффективности онлайн-опросов и традиционных опросов, использующих бумажный носитель [13, 16]. В зарубежных научных публикациях последних лет такая тема поднимается все реже [18]. Другими словами, зарубежные исследователи практически полностью перешли на опросы в Интернете. Среди зарубежных публикаций сейчас достаточно много исследований, в которых рассматриваются пути повышения качества данных, полученных с помощью онлайн-опросов [17, 19, 20-22]. В российской научной литературе также начали появляться публикации, посвященные проблеме повышения эффективности онлайн-опросов [2, 4, 5, 10, 11, 15]. Таким образом, проблема, поднятая в настоящей статье, является весьма актуальной.
Создав свою онлайн-анкету и разместив ее в свободном доступе в сети Интернет, наивно полагать, что она привлечет достаточное для анализа количество респондентов в обозримом будущем. Для того чтобы собрать анкеты в Интернете, необходимо иметь собственную базу респондентов или использовать заинтересованных чем-либо интервьюеров, которые приглашали бы принять участие в опросе своих знакомых.
С появлением спроса на онлайн-анкетирование появились специальные интернет-компании, которые осуществляют анкетирование, привлекая респондентов за плату (такие сайты называют «опросниками»). В качестве примера российских сайтов-«опросников» можно привести следующие опросники: «Анкетка», «Мое мнение», «Интернет-опрос», «Экспертное мнение». В сети представлено и множество зарубежных сайтов-«опросников», которые работают и с русскоязычными респондентами: «GlobalTestMarket», «ThePanelStation», «i-Say». Однако к анкетам, заполненным профессиональными респондентами, нужно относиться с осторожностью [14].
В настоящее время проблема анализа достоверности информации онлайн-опросов недостаточно разработана. Поэтому методические подходы к анализу достоверности различных видов информации весьма востребованы практиками.
Автором был разработан ряд методов анализа достоверности анкетных данных, которые с успехом применялись в течение длительного времени при анализе анкет, собираемых на бумажном носителе [6, 8]. В настоящей работе предлагается к рассмотрению новый метод, позволяющий повысить достоверность данных, собираемых с помощью онлайн-анкетирования.
Предмет исследования
Предметом исследований являются данные, полученные в ходе онлайн-опросов. Такие данные формируют многомерные выборки признаков таблиц статистических данных, которые используются для анализа социально-экономических процессов и явлений.
В большинстве анкетных форм, представленных в Интернете, в качестве основного типа вопросов используют вопросы с набором альтернативных вариантов ответов. Такие анкеты требуют минимального времени заполнения и наиболее понятны большинству респондентов. Однако при недобросовестном отношении к опросу части респондентов выборки могут содержать недостоверные данные, например, при выборе респондентом первопопавшихся ответов на вопросы анкеты.
вопросы анкеты с набором альтернативных ответов порождают номинальные признаки с фиксированным для каждого вопроса набором значений.
Пусть произведена выборка объемом n (количество анкет). Обозначим совокупность номинальных признаков в таблице анкетных данных как (xj ; x2 ; x3;... xm ), где m - количество номинальных признаков. Известно фиксированное количество возможных значений для каждого номинального признака (k1 ; k 2 ; k3;...; km ), где m - количество признаков. Рассмотрим основные принципы, заложенные в основу предлагаемого метода.
Методы исследования, методологические принципы и инструменты
Анализ достоверности анкетных данных основан на использовании принципа «скользящего экзамена» [9]. Суть его заключается в том, что вся выборка делится на две части. Первая часть включает все данные за исключением тех, относительно которых осуществляется проверка качества (достоверности) данных. Вторая часть включает данные, подлежащие проверке. Подлежать проверке могут данные, которые инициированы одним, отдельно взятым интервьюером (пакет данных). В частном случае это может быть только одна анкета (строка в таблице данных). Первую выборку будем называть обучающей (ОВ), а вторую - контрольной (КВ). По двум выборкам рассчитываются различные частотные характеристики. Частотные характеристики используются для расчета некоторого статистического критерия для данной КВ, сравнение значений которого со значениями, рассчитанными по всей выборке, позволяет выделить нетипичные данные, которые могут рассматриваться как «подозрительные» с точки зрения достоверности. После расчета критерия данные второй выборки (КВ) возвращаются в первую выборку (ОВ), а из нее изымается следующая группа данных, инициированных другим интервьюером. Процедура повторяется до тех пор, пока все пакеты не будут протестированы.
Процедура тестирования качества основана на гипотезе, что большая часть данных все-таки отвечает требованиям по качеству, а некачественные (недостоверные) данные составляют меньшинство. Конечно, доля одного пакета не должна быть преобладающей во всей выборке. При тестировании единичных анкет это правило выполняется автоматически, поскольку вклад каждой анкеты в частотные характеристики выборки незначительный.
Вторая гипотеза, лежащая в основе разработанного метода, состоит в том, что обычно респондент, предоставляющий недостоверную информацию, нарушает некоторые закономерности (внутреннюю логику), присущие исследуемому в анкетном опросе процессу. Например, респондент, безответственно относящийся к ответам на вопросы анкеты, отвечает «как попало», не задумываясь над содержанием вопросов. Если респондент недобросовестно относится к ответу на одни вопросы анкеты, он чаще всего относится так же ко всему анкетному опросу. Иначе говоря, предполагается, что, предоставляя недостоверные данные, респондент не преследует цели умышленно дезинформировать исследователя. В противном случае, на ответы вопросов анкеты могло бы потребоваться времени даже больше, чем при добросовестном отношении к опросу.
Третья гипотеза состоит в том, что ответы на вопросы анкеты имеют некоторую внутреннюю логику, то есть ответы на одни вопросы анкеты влияют в статистическом смысле на другие ответы. иногда даже возможные варианты ответов на отдельные вопросы могут входить в полное противоречие. Например, если студент в одном вопросе о месте проживания указывает «кампус университета», а в другом вопросе о времени, затрачиваемом на дорогу до университета, дает ответ «более часа», наблюдается явное противоречие в ответах на эту пару вопросов. Рассмотрим еще один пример, который если теоретически не приводит к противоречию, то имеет крайне низкую вероятность. Если респондент о гендерной принадлежности указывает мужской пол, а в другом ответе о частоте посещения маникюрного салона указывает «один раз в неделю», то этот вариант, в принципе возможен, но статистически незначим и может вызвать подозрение исследователя в достоверности и других ответов на вопросы анкеты. Нелогичное поведение респондента может быть вызвано и неосознанным действием, например, при недопонимании вопроса анкеты. Однако такие ответы все равно нельзя признать достоверными. А на будущее исследователь должен учитывать, что отдельные вопросы могут восприниматься неадекватно, и предпринять какие-то действия, чтобы подобные ситуации не повторялись.
Предложенный критерий учитывает сразу все пары ответов респондентов. Критерий дает одно интегральное значение для тестируемого пакета анкет (или отдельной анкеты). Такие значения представляют собой некоторую статистику (значение критерия), которая может выводиться в виде графика, на котором легко можно обнаружить «подозрительные» данные.
Выделенные «подозрительные» анкеты или пакеты анкет не отбрасываются автоматически, а подвергаются исследователем детальному содержательному анализу проверки правдоподобия ответов на вопросы анкеты с целью выяснения причин выделения таких анкет в ряду прочих. И только после установления того, что такие анкеты нельзя признать достоверными, их отбрасывают.
Принципы расчета критерия рассмотрим на примере модельных данных. Для удобства изложения примем некоторые допущения.
Будем полагать, что тестируются не пакеты анкет, а каждая анкета по отдельности. При рассмотрении пакетов анкет значения критерия просто суммируются по анкетам пакета и нормируются по объему выборки пакета.
Объем модельной выборки составляет 101 наблюдение (п = 101). Это сделано для того, чтобы обучающая выборка включала 100 наблюдений. Выборка представлена пятью номинальными признаками (х1; х2; х3; х4; х5).
Набор значений каждого признака может быть задан множеством П 1 2 ), где ] = 1,2,—т, т - количество признаков. Предположим,
что количество возможных значений всех признаков одинаково. В примере принято tj = 4 . Считается, что предварительно выборка номинальных значений признаков была преобразована путем замены возможных значений признаков их номерами в отжюе то есть Пjl; п 2; п]Ъ; п ) = (1;2;3;4).
Для упрощения расчетов повторяющиеся наблюдения выборки были сгруппированы. Для каждой уникальной последовательности значений признаков предварительно была рассчитана «частота встречаемости в выборке» Qs, где 5 = 1,2,3,... а , а - количество уникальных последовательностей ответов, встречавшихся в выборке (^ = 101). В нашем примере а = 11. Сгруппированная выборка представлена в компактном виде в табл. 1. Расчет критерия Л, рассмотрен ниже. Частотные ряды по всем пяти признакам представлены на рис. 1.
Таблица 1
сгруппированная выборка модельных данных
Номер уникальной последовательности ответов Значения признаков выборки Частота встречаемости в выборке Qs Значение критерия л,
Х1 Х2 Х3 Х4 Х5
1 1 1 4 3 1 21 0,790
2 1 1 4 3 2 19 0,902
3 1 1 3 3 2 18 0,792
4 2 2 3 2 3 10 0,182
5 3 3 2 3 2 10 0,256
6 1 2 1 3 2 8 0,424
7 2 1 3 4 2 7 0,272
8 3 4 3 4 3 3 0,094
9 2 2 3 3 2 2 0,356
10 4 1 3 1 4 2 0,090
11 1 2 2 2 3 2 0,076
Рис. 1. Частотные ряды по пяти признакам обучающей выборки Сформируем обучающую выборку, в которую включим первые 10 уникальных последовательностей ответов. В контрольную выборку включим одиннадцатую последовательность. Для примера, сначала мы выбрали последовательность, которая наиболее контрастирует со всеми остальными.
Таким образом, контрольная выборка состоит из одного наблюдения ;х2;х4;х5) = (1;2;2;2;3). В обучающую выборку включены все остальные 100 наблюдений исходной выборки.
Сочетания возможных пар признаков выборки может быть представлено полным графом О с количество ребер равным < (1). Для заданного числа признаков <=10 (рис. 2).
< = т х (т -1)/2 (1)
Рис. 2. Полный граф сочетания признаков при т=5
Расчет элементов критерия представлен в табл. 2. Все возможные пары признаков представлены во втором столбце таблицы. Такие же сочетания пар будут и для любого другого наблюдения выборки. Во втором столбце указаны конкретные значения признаков для рассматриваемого наблюдения (контрольного). Далее рассчитывается количество таких пар в таблице данных в обучающей выборке без учета кратности. Например, пара (х1; х2) = (1;2) встречалась только однажды в уникальном наблюдении под номером 6 в табл. 1: (х1; х2; х3; х4; х5 )= (1;2;1;3;2). Такая пара может встречаться и в других уникальных наблюдениях (максимум во всех, что крайне маловероятно). Для данной контрольной выборки обнаружено пересечений с уникальными наблюдениями только по одному разу в четырех случаях (четыре единицы в столбце «Количество пар в оВ без учета кратности» в таблице 2). Каждое уникальное значение имеет свою кратность Qs. Например, наблюдение под номером 6 в ОВ (х1; х2; х3; х4; х5 ) = (1;2;1;3;2) имеет кратность 8, а другое наблюдение (х1; х2; х3; х4; х5 ) = (2;2;3;2;3) под номером 4, имеющее аналогичную пару (х2; х4) = (2;2) в контрольной выборке имеет кратность 10. Суммарная кратность повторения совпадения каждой пары значений обучающей и контрольной выборок записана в столбце «Количество пар в ОВ с учетом кратности» табл. 2.
Далее рассчитывается частота встречаемости каждой пары обучающей выборки в контрольной выборке (столбец «Частота» в табл. 2). Для этого «Количество пар в ОВ с учетом кратности» делится на объем выборки (в нашем случае 100).
Теперь необходимо сделать одно важное замечание. Дело в том, что в общем случае все пары неравнозначны. Количество возможных вариантов ответов зависит от количества значений признаков, составляющих пару (в нашем случае для всех признаков t. = 4). Количество возможных вариантов значений каждой пары признаков (х. • х.) равноp\хi;х, )= х t. (в нашем случае все для всех пар призна-
. I' J / 3 У
ков р\х{; х^ ) = 16). Поэтому для различных пар необходимо ввести поправочный коэффициент (вес пары). Веса для разных сочетаний пар признаков в общем случае рассчитываются по формуле (2):
Су ммирование производ ится по всем возможным < парам полного графа сочетания признаков. В нашем примере все пары будут иметь один и тот же вес V.. = 0,2. Затем рассчитывается «вклад каждой пары» как произведение частоты пары на вес. Суммирование по вкладам каждой пары дает общее значение критерия А . В данном случае для строки данных (х1; х2; х3; х4; х5) = (1;2;2;2;3) значение критерия равно Л11 = 0,076 .
(2)
Таблица 2
Расчет критерия для уникальной последовательности под номером 11
№ Пара Значения признаков в КВ Количество пар в ОВ без учета кратности Кратность Количество пар в оВ с учетом кратности Частота Вес пары Вклад пары
1 2 3 4
1 (х1; Х2 ) (1;2) 1 8 8 0,08 0,2 0,016
2 (х1; х3 ) (1;2) 0 0 0,00 0,2 0,000
3 (х1; х4 ) (1;2) 0 0 0,00 0,2 0,000
4 (Х{; х5 ) (1;3) 0 0 0,00 0,2 0,000
5 (х2; х3) (2;2) 0 0 0,00 0,2 0,000
6 (х2; Х4 ) (2;2) 1 10 10 0,10 0,2 0,020
7 (х2; Х5) (2;3) 1 10 10 0,10 0,2 0,020
8 (х3; Х4) (2;2) 0 0 0,00 0,2 0,000
9 (х3; х5) (2;3) 0 0 0,00 0,2 0,000
10 (х4; х5) (2;3) 1 10 10 0,10 0,2 0,020
Для сравнения рассмотрим таблицу расчета критерия для характерного наблюдения данной выборки ; х2; х3; х4; х5) = (1;1;4;3;2) (номер 2 в табл. 1). Расчеты значения критерия для данного наблюдения представлены в табл. 3. В данном случае значение критерия будет равно Л2 = 0,902. Значения критерия по всем уникальным наблюдениям представлены в столбце «Значение критерия» табл. 1. На рисунке 1 представлен график упорядоченных значений критерия. На горизонтальной оси указаны номера уникальных последовательностей. Из графика видно, что три последовательности (со значениями критериев 0,094; 0,09 и 0,076) выбиваются из общего ряда наблюдений выборки, поэтому их можно рассматривать как «сомнительные» с точки зрения достоверности данных. В реальной ситуации необходимо путем содержательного анализа ответов респондентов выяснить причины, в результате которых были выделены именно эти наблюдения. Поскольку «подозрительных» анкет, как правило, немного, то такой анализ обычно не вызывает затруднений.
Таблица 3
Расчет критерия для уникальной последовательности под номером 2
№ Пара Значения признаков в КВ Количество пар в ОВ без учета кратности Кратность Количество пар в ОВ с учетом кратности Частота Вес пары Вклад пары
1 2 3 4 5
1 (^1, ^2 ) (1;1) 3 21 18 18 57 0,57 0,20 0,114
2 (х1; Х3 ) (1;4) 2 21 18 39 0,39 0,20 0,078
3 (х1; Х4 ) (1;3) 4 21 18 18 8 65 0,65 0,20 0,130
4 (х1; Х5) (1;2) 3 18 18 8 44 0,44 0,20 0,088
5 (х2 ; Х3 ) (1;4) 2 21 19 40 0,40 0,20 0,080
6 (х2 ; Х4 ) (1;3) 3 21 18 18 57 0,57 0,20 0,114
7 (х2 ; Х5 ) (1;2) 2 18 18 36 0,36 0,20 0,072
8 (Х3; Х4 ) (4;3) 2 21 18 39 0,39 0,20 0,078
9 (Х3; Х5 ) (4;2) 1 18 18 0,18 0,20 0,036
10 (х4; Х5 ) (3;2) 5 18 18 10 8 2 56 0,56 0,20 0,112
О
23 1697548 10 11
Номера наблюдений в списке повторяющихся наблюдений
Рис. 3. График значений критерия для уникальных последовательностей из таблицы 1
содержание дальнейших исследований
На основе предложенного метода анализа достоверности анкетных данных была разработана компьютерная программа в среде EXCEL. Кроме модельных данных программа была протестирована и на реальных данных и показала хорошие результаты. Однако программа в настоящее время содержит ряд ограничений на масштаб задачи, поэтому пока еще не может быть использована для широкого круга анкетных опросов.
Для рекомендации ее к широкому использованию необходимо провести еще ряд дополнительных экспериментов на реальных данных при различном сочетании уровней значений признаков. В дальнейшем предполагается произвести оптимизацию программы с позиций оптимизации вычислительного процесса.
Быводы
Из-за отсутствия прямого контакта с респондентами проблема достоверности данных при онлайн-опросах только усугубилась.
Основным достоинством предложенного метода является то, что он учитывает связь между различными признаками исследуемой таблицы данных.
Предложенная технология тестирования достоверности онлайн-анкет позволяет в оперативном режиме контролировать ход опроса. При необходимости исследователь может принять действия по улучшению качества данных (например, провести дополнительные консультации интервьюеров или скорректировать формулировки некоторых вопросов).
Для анализа достоверности данных онлайн-опросов целесообразно использовать ряд критериев. например, можно использовать критерии, которые были разработаны автором ранее для различных типов данных.
Если анкета включает вопросы, которые порождают различные типы признаков, то они тоже могут быть включены в список анализируемых признаков после предварительного преобразования значений признаков с понижением мощности шкал. Дополнительные номинальные признаки могут быть получены в результате типологии открытых вопросов [7].
возможно, предложенный метод в дальнейшем может быть использован для классификации наблюдений. Например, в графике на рис. 3 можно выделить три зоны, которые могут быть положены в основу классификации. Эта возможность может быть определена в результате дальнейших исследований.
1. Беликова Ю.В. Сравнительный анализ сервисов для проведения онлайн опросов // Актуальные научные исследования в современном мире. 2016. № 5-4 (13). С. 36-41.
2. Галицкий Е.Б., Мальцева П.В. Потенциальные источники ошибок в данных онлайн-опросов // Практический маркетинг. 2013. № 10 (200). С. 2-8.
3. Ефимова Д.М., Ермолаев С.В. Сравнительный анализ сервисов для продвижения опроса в сети Интернет // Вестник Российского экономического университета им. Г.В. Плеханова. Вступление. Путь в науку. 2014. № 1-2 (9). С. 88-95.
4. Мавлетова А.М., Малошонок Н.Г., Терентьев Е.А. Влияние элементов приглашения на увеличение доли откликов в онлайн-опросах // Социология: методология, методы, математическое моделирование. 2014. № 38. С. 72-95.
5. Малошонок Н.Г., Терентьев Е.А. Влияние дизайна на качество данных в онлайн-опросах студентов // Мониторинг общественного мнения: экономические и социальные перемены. 2014. № 6 (124). С. 15-27.
6. Мартышенко Н.С. Компьютерная технология обработки качественных данных опросов потребителей туристских услуг // Маркетинг и маркетинговые исследования. 2011. № 3. С. 184-192.
7. Мартышенко Н.С. Компьютерная технология обработки качественных данных опросов потребителей туристских услуг // Маркетинг и маркетинговые исследования. 2011. № 3(93). С. 184-192.
8. Мартышенко С.Н., Мартышенко Н.С. Метод обнаружения ошибок в эмпирических данных // Известия высших учебных заведений. Северо-Кавказский регион. Серия: Технические науки. 2008. № 1. С. 11-14.
9. Мартышенко С.Н., Мартышенко Н.С., Кустов Д.А. Цензурирование при обработке анкетных данных // Известия высших учебных заведений. Поволжский регион. Технические науки. 2006. № 6. С. 170-177.
10. Моисеев С.П., Савинкова Ю.К. Выборка, направляемая респондентом, в онлайн-опросе: к вопросу о динамике и качестве // Мониторинг общественного мнения: экономические и социальные перемены. 2014. № 6(124). С. 43-50.
11. Насонова Н.А., Кожевникова Т.В. Пример создания репрезентативного интернет-опроса при социологических исследованиях // Научно-техническое и экономическое сотрудничество стран АТР в XXI веке. 2013. Т. 2. С. 311-319.
12. Насретдинова М.М. Актуальность онлайн исследований в России // Психология, социология и педагогика. 2014. № 6 (33). С. 24.
13. Некрасов С.И. Сравнение результатов онлайн- и оффлайн-опросов (на примере анкет разной сложности) // Социология: методология, методы, математическое моделирование. 2011. № 32. С. 53-74.
14. Фарахутдинов Ш.Ф. Профессиональные респонденты камень предкновения онлайн-опросов в современной России // Телескоп: журнал социологических и маркетинговых исследований. 2011. № 2. С. 45-47.
15. Федоровский А.М. Качество онлайн-опросов. Методы проверок // Мониторинг общественного мнения: экономические и социальные перемены. 2015. № 3(127). С. 28-35.
16. Шкурин Д.В. Сравнительная оценка качества данных офлайн и онлайн-опросов // Дискуссия. 2015. № 8. С. 101-105.
17. Alessi E. J., Martin J. I. Conducting an internet-based survey: Benefits, pitfalls, and lessons learned // Social Work Research. 2010. Vol. 34. No 2. P. 122-128.
18. Hohwu L. et al. Web-based versus traditional paper questionnaires: a mixed-mode survey with a Nordic perspective // Journal of medical Internet research. 2013. Vol. 15. No 8.
19. Hunter L. Challenging the reported disadvantages of e-questionnaires and addressing methodological issues of online data collection // Nurse researcher. 2012. Vol. 20. No 1. P. 11-20.
20. McPeake J., Bateson M., O'Neill A. Electronic surveys: how to maximise success // Nurse researcher. 2014. Vol. 21. No 3. P. 24-26.
21. Phillips K. Data Use: An evaluation of quality-control questions // Quirk's Marketing Research Review. December. 2013. URL: http://www.quirks.com/articles/2013/20131205.aspx
22. Puleston J., Eggers M. Dimensions of online survey data quality. What really matters? II Congress 2012 - Accelerating Excellence - Celebrating б5 Years And Beyond. Atlanta, 2012.
транслитерация
1. Belikova Yu.V. Sravnitel'nyi analiz servisov dlya provedeniya onlain oprosov, Aktual 'nye nauchnye issledovaniya v sovremennom mire, 201б, No 5-4 (13), pp. 3б-41.
2. Galitskii E.B., Mal'tseva P.V. Potentsial'nye istochniki oshibok v dannykh onlain-oprosov, Prakticheskii marketing, 2013, No 10(200), pp. 2-В.
3. Efimova D.M., Ermolaev S.V. Sravnitel'nyi analiz servisov dlya prodvizheniya oprosa v seti internet, Vestnik Rossiiskogo ekonomicheskogo universiteta im. G.V Plekhanova. Vstuplenie. Put' v nauku, 2014, No 1-2 (9), pp. ВВ-95.
4. Mavletova A.M., Maloshonok N.G., Terent'ev E.A. Vliyanie elementov priglasheniya na uvelichenie doli otklikov v onlain-oprosakh, Sotsiologiya: metodologiya, metody, matematicheskoe modelirovanie, 2014, No 3В, pp. 72-95.
5. Maloshonok N.G., Terent'ev E.A. Vliyanie dizaina na kachestvo dannykh v onlain-oprosakh studentov, Monitoring obshchestvennogo mneniya: ekonomicheskie i sotsial 'nyeperemeny, 2014, No б (124), pp. 15-27.
6. Martyshenko N.S. Komp'yuternaya tekhnologiya obrabotki kachestvennykh dannykh oprosov potrebitelei turistskikh uslug, Marketing i marketingovye issledovaniya, 2011, No 3, pp. 1В4-192.
7. Martyshenko N.S. Komp'yuternaya tekhnologiya obrabotki kachestvennykh dannykh oprosov potrebitelei turistskikh uslug, Marketing i marketingovye issledovaniya, 2011, No 3 (93), pp. 1В4-192.
В. Martyshenko S.N., Martyshenko N.S. Metod obnaruzheniya oshibok v empiricheskikh dannykh, Izvestiya vysshikh uchebnykh zavedenii. Severo-Kavkazskii region. Seriya: Tekhnicheskie nauki, 200В, No 1, pp. 11-14.
9. Martyshenko S.N., Martyshenko N.S., Kustov D.A. Tsenzurirovanie pri obrabotke anketnykh dannykh, Izvestiya vysshikh uchebnykh zavedenii. Povolzhskii region. Tekhnicheskie nauki, 200б, No б, pp. 170-177.
10. Moiseev S.P., Savinkova Yu.K. Vyborka, napravlyaemaya respondentom, v onlain-oprose: k voprosu o dinamike i kachestve, Monitoring obshchestvennogo mneniya: ekonomicheskie i sotsial 'nyeperemeny, 2014, No б (124), pp. 43-50.
11. Nasonova N.A., Kozhevnikova T.V. Primer sozdaniya reprezentativnogo internet-oprosa pri sotsiologicheskikh issledovaniyakh, Nauchno-tekhnicheskoe i ekonomicheskoe sotrudnichestvo stran ATR v XXIveke, 2013, vol. 2, pp. 311-319.
12. Nasretdinova M.M. Aktual'nost' onlain issledovanii v Rossii, Psikhologiya, sotsiologiya ipedagogika, 2014, No б (33), p. 24.
13. Nekrasov S.I. Sravnenie rezul'tatov onlain- i offlain-oprosov (na primere anket raznoi slozhnosti), Sotsiologiya: metodologiya, metody, matematicheskoe modelirovanie, 2011, No 32, pp. 53-74.
14. Farakhutdinov Sh.F. Professional'nye respondenty kamen' predknoveniya onlain-oprosov v sovremennoi Rossii, Teleskop: zhurnal sotsiologicheskikh i marketingovykh issledovanii, 2011, No 2, pp. 45-47.
15. Fedorovskii A.M. Kachestvo onlain-oprosov. Metody proverok,Monitoring obshchestvennogo mneniya: ekonomicheskie i sotsial'nyeperemeny, 2015, No 3 (127), pp. 2В-35.
16. Shkurin D.V. Sravnitel'naya otsenka kachestva dannykh oflain i onlain-oprosov, Diskussiya, 2015, No В, pp. 101-105.
17. Alessi E. J., Martin J. I. Conducting an internet-based survey: Benefits, pitfalls, and lessons learned, Social Work Research, 2010, vol. 34, No 2, pp. 122-12В.
1В. Hohwü L. et al. Web-based versus traditional paper questionnaires: a mixed-mode survey with a Nordic perspective, Journal of medical Internet research, 2013, vol. 15, No В.
19. Hunter L. Challenging the reported disadvantages of e-questionnaires and addressing methodological issues of online data collection, Nurse researcher, 2012, vol. 20, No 1, pp. 11-20.
20. McPeake J., Bateson M., O'Neill A. Electronic surveys: how to maximise success, Nurse researcher, 2014, vol. 21, No 3, pp. 24-26.
21. Phillips K. Data Use: An evaluation of quality-control questions, Quirk's Marketing Research Review, December, 2013. URL: http://www.quirks.com/articles/2013/20131205.aspx
22. Puleston J., Eggers M. Dimensions of online survey data quality. What really matters? Congress 2012 - Accelerating Excellence - Celebrating 65 Years And Beyond, Atlanta, 2012.
© С.Н. Мартышенко, 2017
Для цитирования: Мартышенко С.Н. Метод повышения достоверности данных онлайн-опросов // Территория новых возможностей. Вестник Владивостокского государственного университета экономики и сервиса. 2017. Т. 9. № 4. С. 223-235.
For citation: Martyshenko S.N. The method of increasing the reliability of online survey, The Territory of New Opportunities. The Herald of Vladivostok State University of Economics and Service, 2017, Vol. 9, No 4, pp. 223-235.
DOI dx.doi.org/10.24866/VVSU/2073-3984/2017-4/223-235 Дата поступления: 25.09.2017.
