CC BY
371
№ 8 (60) СЕНТЯБРЬ 2015
ДИСКУССИЯ 4
журнал научных публикаций Ц
Д. В. Шкурин, канд. социол. наук, доцент, кафедра прикладной социологии, Уральский федеральный университет им. первого Президента России Б.Н. Ельцина, г. Екатеринбург, Россия, den¡s sh@r66.ru
СРАВНИТЕЛЬНАЯ ОЦЕНКА КАЧЕСТВА ДАННЫХ ОФЛАЙН- И ОНЛАЙН-ОПРОСОВ
В статье проводится сравнительный анализ эффективности онлайн- и офлайн-методов сбора данных на основе результатов крупного общероссийского опроса «Современное российское студенчество о Великой Отечественной войне», охватившего свыше четырех с половиной тысяч студентов из более чем 60 российских вузов. Анализируются особенности заполнения анкет с открытыми вопросами, вопросами с множественным выбором, содержательно сопоставляются результаты ответов оффлайн- и онлайн-информантов по обычным вопросам, проводится сравнительный анализ качества данных по множеству параметров методом «скользящего экзамена». Сравнительный анализ оффлайн- и онлайн-анкет позволил выяснить, что онлайн-анкеты информантами заполнены более качественно и более содержательно (ответы на открытые вопросы развернуты, больше ответов дается на вопросы с множественным выбором ответа). Вместе с тем при заполнении онлайн-анкет респонденты чаще отказывались от продолжения участия в опросе, чаще обращались к дополнительным источникам информации и содержательно их ответы по ряду вопросов отличаются от ответов оффлайн-информантов. В статье анализируются причины этих различий и делаются выводы о необходимых коррекциях социологического инструментария в случае проведения исследования методом онлайн-опроса. Ключевые слова: технологии сбора данных, онлайн-опросы, CAWI, сравнительный анализ, методическое исследование, оценка качества данных, скользящий экзамен.
В настоящее время в зарубежной и отечественной социологи все более широкое распространение получают онлайн-опро-сы — к этой технологии прибегают как крупные исследовательские центры, занимающиеся опросом общественного мнения, так и частные организации, изучающие удовлетворенность своих клиентов или мотивацию персонала. Распространение различных платных и бесплатных сервисов онлайн-опросов сделало их доступными любым исследователям с любым бюджетом. Возможности онлайн-опросов позволяют существенно экономить время, средства и человеческие ресурсы, что делает эти технологии достаточно эффективными и позволяют достичь результата быстрее, чем традиционными методами. Но, подобно другим социологическим технологиям, онлайн-опросы обладают определенными
достоинствами и недостатками, которые делают невозможным их универсальное применение во всех сферах, где используется метод опроса1.
Рассмотрим, как влияет технология сбора данных (онлайн или оффлайн) на примере исследования, проводимомого Российским обществом социологов2 (РОС) под научным руководством профессора Ю.Р. Вишневского, «Российское студенчество о Великой Отечественной войне», третья волна которого охватила свыше четырех тысяч пятисот студентов из более чем 60 вузов России3. На сайте РОС были опубликованы как «бумажный» вариант анкеты (для скачивания и распечатки), так и ссылка на электронный вариант для онлайн-опроса. Исследователям в каждом вузе предоставлялся выбор, по какой технологии они будут проводить опрос4. Всего было собрано 1 396 анкеты с помощью
т
дискуссия
журнал научных публикаций
СОЦИОЛОГИЧЕСКИЕ НАУКИ
интернет-сервера и 3 358 анкеты с помощью традиционного «бумажного» анкетирования, что позволило сделать некоторые методические сравнения и выводы. Наиболее важные различия между оффлайн- и онлайн-ан-кетами проявились в следующем.
Бумажные анкеты оказались значительно более заполненными — интервьюеры проверяли факт, что опрашиваемые доходили до конца анкеты и сам факт личного контакта мотивировал респондентов на полное заполнение. Вместе с тем респонденты часто пропускали один из четырех сложных открытых вопросов в начале анкеты (Полководцы/ Битвы/ Песни / Художественные произведения о ВОВ), возможно, надеясь вернуться к нему позже. При онлайн-опросе респонденты иногда просто прекращали заполнение анкеты (20% не дошли до конца опроса), причем вероятность того, что они сделают это на открытом вопросе, была в среднем в 3—4 раза выше, чем на обычном опросе. Если иметь в виду фактор утомляемости, то ближе к концу опроса число выходов должно быть больше по причине усталости. Мы же наблюдаем обратную картину — студенты, ответившие на существенное количество вопросов, в том числе «трудных» открытых вопросов в начале анкеты, были заинтересованы в том, чтобы их труд не пропал, то есть старались дойти до конца анкеты. Получается, что в онлайн-опросах, так же как и в традиционных, необходимо наращивать сложность вопросов постепенно, отодвигая наиболее сложные вопросы ближе к концу анкеты. Отличия здесь от традиционных опросов в том, что при «бумажном» анкетировании респондент может пропустить сложные вопросы в начале и вернуться к ним потом или интервьюер может заметить низкую за-полняемость анкеты и попросить ответить на пропущенные вопросы. В ситуации с он-лайн-опросом это невозможно, поскольку
В онлайн-опросах, так же как и в традиционных, необходимо наращивать сложность вопросов постепенно, отодвигая наиболее сложные вопросы ближе к концу анкеты.
Общность респондентов, доступная для онлайн-опросов, до сих пор имеет определенные особенности, несмотря на постоянное расширение российской интернет-аудитории и широкое проникновение Интернета в современную студенческую среду.
порядок вопросов важен для правильного определения переходов.
Студенты, заполнявшие онлайн-анке-ту, давали более подробные ответы на открытые вопросы и на вопросы с множественным выбором, чем те, кто заполнял бумажную версию онлайн-анкеты — респонденты в среднем указывали больше на одного полководца, на одну битву, на одну песню и другое художественное произведение. Ответы студентов, заполнявших анкету по ссылке, оказались и более подробными — они чаще указывали не просто фамилии, а ФИО полководцев, полные названия песен, фильмов, книг и т. д. с уточнением авторов. Причин повышенной информированности две: студенты, заполнявшие электронный вариант анкеты, имели возможность отвечать в более спокойной обстановке и имели больше времени подумать, чем студенты в ситуации с «бумажным» опросом, когда интервьюер ждет, пока студент заполняет анкету. Еще одной причиной является то, что, заполняя анкету по ссылке, студент находился рядом с компьютером и мог параллельно заглянуть в различные интернет-энциклопедии и просто копировать/вставить в анкету ФИО полководцев, названия произведений и битв. Таким образом, ответы на вопросы онлайн-анкеты являются менее спонтанными и меньше соответствуют задумке авторов опроса — выяснить те фамилии и названия, которые пребывают в памяти студентов, поскольку заполнявшие анкету по ссылке могли подглядывать информацию в сети Интернет. Но поскольку и на вопросы с множественным выбором в случае онлайн-опроса студенты дают больше ответов, чем те, кто заполнял «бумажную» версию анкеты, то можно сделать вывод, что студенты, заполнявшие электронную анкету, могли обращаться к сети Интернет не столько за тем, чтобы вспом-
№ 8 (60) СЕНТЯБРЬ 2015
дискуссия t
журнал научных публикаций Ц
нить фамилию или название, сколько чтобы правильно их записать. Исходя из этого можно дать рекомендацию тем исследователям, которые проводят онлайн-опро-сы: в тех случаях, когда нужно замерить именно то, что находится в памяти респондента, необходимо дополнять такие вопросы инструкциями типа: «пожалуйста, запишите название так, как вы его помните, никуда не подглядывая». Можно также технически заблокировать возможность вставки в текстовое поле вопроса.
Было проведено также и содержательное отличие ответов онлайн- и оффлайн-респондентов на вопросы анкеты. В целом различия были небольшие (самый высокий коэффициент корреляции составил всего 0,130 по шкале от 0 до 1). Тем не менее в ряде случаев вероятность ошибки (определенная с помощью критерия Хи-квадрат) составила менее 0,05, это свидетельствует о том, что данные различия нельзя просто списать на погрешность выборки. Содержательно это проявилось в том, что студенты, заполнявшие онлайн-версию анкеты, реже смотрят телевизор, и, соответственно, меньше знакомы с современными телесериалами и фильмами о войне. Следовательно, общность респондентов, доступная для онлайн-опросов, до сих пор имеет определенные особенности, несмотря на постоянное расширение российской интернет-аудитории и широкое проникновение Интернета в современную студенческую среду.
Данные, собранные с помощью онлайн-исследования практически исключают влияние интервьюера. Мы проверили качество данных рядом тестов и в итоге провели комплексную оценку — скользящий экзамен, состоящий в том, что каждый пакет данных (полученных из разных вузов) изымался из выборки и качество выборки оценивалось без этого пакета5. По результатам серии тестов выяснилось, что есть много пакетов более качественных, чем онлайн-данные, но также есть ряд пакетов очень некачественных — налицо грубая работа интервью-
Качество онлайн-данных не зависит от интервьюера, а следовательно, при условии использования качественного инструмента,
возможны только случайные, а не систематические искажения результатов.
еров, и данные этих пакетов очень сильно отличаются от всего массива, многие анкеты очень похожи, табличные вопросы заполнены очень монотонно, подозрительно высокое или подозрительно низкое число ответов на вопросы с множественным выбором и т. п. Таким образом, качество онлайн-данных не зависит от интервьюера, а следовательно, при условии использования качественного инструмента, возможны только случайные, а не систематические искажения результатов.
В целом, соглашаясь с выводами, приведенными в статье С.И. Некрасова6, о том, что продумав стратегию исследования можно добиться с помощью онлайн-опросов тех же результатов, что и с помощью традиционных методов, мы хотим отметить, что и традиционные методы не всегда достаточно эффективны, поскольку не всегда соблюдаются все необходимые процедуры контроля качества данных.
Литература
1. Девятко И.Ф. Онлайн исследования и методология социальных наук: новые горизонты, новые (и не столь новые) трудности // Онлайн исследования в России 2.0: Сборник статей. М., 2010. С. 17-30.
2. Российское общество социологов. [Электронный ресурс]. URL: http://www.ssa-rss.ru/ (дата обращения: 03.09.2015 г.).
3. Публикации РОС. [Электронный ресурс]. URL: http://www.ssa-rss.ru/index.php ?page_id=40 (дата обращения: 03.09.2015 г.).
4. Шкурин Д.В. Технологии сбора и обработки данных по проекту «Российское студенчество о Великой Отечественной войне» // Война была позавчера... / Сб. статей Материалы мониторинга «Современное российское студенчество о Великой Отечественной войне». Екатеринбург, 2015. С. 84-89.
5. Мартышенко Н.С., Мартышенко С.Н., Кустов Д.А. Многомерные статистические методы повышения достоверности маркетинговых данных // Практический маркетинг. 2007. № 1. С. 20-30.
6. Некрасов С.И. Сравнение результатов онлайн- и оффлайн-опросов (на примере анкет разной сложности) // Социология: 4. М. 2011. № 32. С. 53-74.
СОЦИОЛОГИЧЕСКИЕ НАУКИ
COMPARATIVE EVALUATION OF DATA QUALITY OF ONLINE AND OFFLINE SURVEYS
D.V. Shkurin, Candidate of Sociology, Docent, The department of applied sociology, Ural Federal University, Yekaterinburg, Russia, denis_sh@r66.ru
This article contains a comparative efficiency analysis of online and offline methods of data acquisition on the base of results of mass all-Russian survey «Modern Russian students about the Great Patriotic War»; this survey covers more than 4500 students from more than 60 Russian universities. The author analyzes the filling's peculiarities of open questions and questions with choice, compares the results of offline and online answers for usual questions and provides a comparative analysis of data quality with many parameters by the method of «sliding exam». The comparative analysis of online and offline forms has helped to learn that online forms are filled with better quality and more content (the answers for open questions are full, more variants for the questions with choice). Besides, filling online forms the respondents often refuse to continue survey and usually ask for additional sources of information and sometimes their answers are different with offline informants. The article analyzes the reasons of these differences and makes conclusions about necessary corrections of sociological tools in the cases of online survey research.
Key words: technology data collection, online surveys, CAWI, comparative analysis, studies in methods, data quality assessment, sliding the exam.
References
1. Deviatko I.F. Onlain issledovaniia i metodologiia sotsial'nykh nauk: novye gorizonty, novye (i ne stol' novye) trudnosti [Online research and methodology social Sciences: new horizons, new (and not so new) challenges]. Onlain issledovaniia v Rossii 2.0: Sbornik statei [Collection of articles "Online research in Russia 2.0"]. Moscow, 2010, pp. 17-30.
2. Rossiiskoe obshchestvo sotsiologov [Russian society of sociologists]. Available at: http://www.ssa-rss.ru/ (accessed 03.09.2015).
3. Publikatsii ROS [The publication of the Russian society of sociologists]. Available at: http://www.ssa-rss.ru/ index.php?page_id=40 (accessed 03.09.2015).
4. Shkurin D.V. Tekhnologii sbora i obrabotki dannykh po proektu «Rossiiskoe studenchestvo o Velikoi Otechest-vennoi voine» [Technologies of collecting and processing data on the project "Russian students about the great Pa-
triotic war"]. Voina byla pozavchera... / Sb. statei Materi-aly monitoringa «Sovremennoe rossiiskoe studenchestvo o Velikoi Otechestvennoi voine» [The war was... the day before yesterday. Coll. of articles "Modern Russian students about the great Patriotic war"]. Ekaterinburg, 2015, pp. 84-89.
5. Martyshenko N.S., Martyshenko S.N., Kustov D.A. Mnogomernye statisticheskie metody povysheniia dos-tovernosti marketingovykh dannykh [Multivariate statistical methods improve the reliability of marketing data]. Prakticheskii marketing — Practical marketing, 2007, no. 1, pp. 20-30.
6. Nekrasov S.I. Sravnenie rezul'tatov onlain- i offlain-oprosov (na primere anket raznoi slozhnosti) [Comparison of online and offline surveys (for example, questionnaires of varying complexity)]. Sotsiologiia: 4. M — Sociology: 4. M, 2011, no. 32, pp. 53-74.
