CC BY
88ПОТЕНЦИАЛЬНЫЕ ИСТОЧНИКИ ОШИБОК В ДАННЫХ ОНЛАЙН-ИССЛЕДОВАНИЙ
Данные онлайн-опросов могут служить надежной основой для принятия маркетинговых решений лишь при должном понимании ограничений этого метода, угроз качеству данных, которые он в себе несет. К сожалению, реальность такова, что любые методы измерения обладают погрешностью, и метод онлайн-опросов здесь не исключение. В статье обсуждаются возможности и проблемы, возникающие при проведении опросов участников онлайн-панелей. Классифицируются источники ошибок и смещений, типичных для таких опросов. При обсуждении вопросов, связанных с потенциальными источниками ошибок, авторы воспользовались принятой в литературе по маркетинговым исследованиям терминологией: общей ошибки и ее структуры. При этом каждый элемент общей ошибки рассмотрен с точки зрения того, что он означает, если опрос проводится на основе онлайн-панели добровольцев.
Ключевые слова: онлайн-опрос; онлайн-панель; качество данных; ошибки выборки; ошибки, не связанные с выборкой; маркетинговые исследования.
Potential sources of errors in online survey
Online surveys could serve as a reliable basis for actionable marketing decisions, but proper understanding of the limitations of this method and threats to data quality is needed. Unfortunately, the reality shows that any measurement methods have their own errors. And online survey method is not an exception in this case. The opportunities and challenges of online surveys using access-panels are discussed in this paper. Sources of errors and biases are classified, which are typical for online method. Discussing issues that related to potential sources of errors in online surveys, the authors have used the accepted in marketing research literature terminology of total error and its structure. In this case, each element of a total error is considered in terms what it could mean, if a survey is conducted using access-panel.
Keywords: online survey; online access panel; data quality; sample errors; marketing research.
Галицкий Ефим Борисович,
к. э. н., начальник лаборатории анализа данных, Институт «Фонд Общественное Мнение»
e-mail: [email protected] Galitskiy Efim B.,
doctor of economics, Data analysis laboratory Head at the Institute of Public Opinion Foundation, Moscow, Russia
Мальцева Полина Владимировна,
менеджер по исследованиям, Центр Исследований РИА Новости
Maltceva Polina V.,
research manager, RIA News Research Center, Moscow, Russia
Современная рыночная ситуация предъявляет к маркетинговым исследованиям высокие требования не только по качеству и стоимости, но и по скорости
проведения. Поэтому онлайн-опрос как метод хорошо зарекомендовал себя среди маркетологов. В 2011 году по данным ESOMAR1 в мире на долю он-
лайн-исследований пришлось 22% всех исследовательских бюджетов. Цифры отражают тот факт, что онлайн-исследования уже прошли стадию признания
1 www.esomar.org GLOBAL MARKET RESEARCH 2012 - Esomar.
рынком. Доля согласных отвечать на вопросы (отклик) при традиционных методах опросов неуклонно падает, а проникновение Интернета — растет. Доля активной аудитории (выходящие в Сеть хотя бы раз за сутки) по данным Фонда Общественное Мнение на лето 2013 года составила 45% (52,2 млн человек). Число российских пользователей Интернета растет быстрыми темпами: за последний год его месячная аудитория прибавила 11 п.п. (процентных пунктов), а суточная — 15 п.п.2 При этом уже сегодня среди представителей некоторых социально-демографических групп показатель проникновения приближается к 90%. А учитывая, что по сравнению с традиционными опросами онлайн-опросы обладают рядом уникальных и неоспоримых преимуществ, не следует удивляться, что они так привлекательны для маркетологов. Однако данные онлайн-опросов могут служить надежной основой для принятия маркетинговых решений лишь при должном понимании ограничений этого метода, угроз качеству данных, которые он в себе несет.
К сожалению, реальность такова, что любые методы измерения обладают погрешностью, и метод онлайн-опросов здесь не исключение. Авторы данной статьи поставили цель очертить круг потенциальных угроз качеству и надежности данных, получаемых наиболее распространенным в российской практике исследований онлайн-методом — выборочным опросом участников он-лайн-панели, которая форми-
руется путем добровольного саморекрутирования респондентов (такие панели иногда называют access или opt-in). Цель статьи — указать на специфические для данной техники угрозы качеству данных.
В зависимости от того, как организовано исследование, те или иные составляющие общей погрешности меняются. При описании потенциальных источников ошибок, авторы решили воспользоваться принятой в литературе по маркетинговым исследованиям терминологией, — общей ошибки и ее структуры. Мы постараемся описать каждый элемент общей ошибки с точки зрения того, что он означает, если опрос проводится на основе онлайн-панели добровольцев.
При рассмотрении этих вопросов будем считать, что речь идет о маркетинговом исследовании, проводимом методом онлайн-опроса по access-пане-ли, и целью этого опроса является замер характеристик определенной интересующей нас генеральной (исследуемой) совокупности.
Прежде всего, на сегодняшний день судить о россиянах в целом на основании каких бы то ни было интернет-опросов пока еще, к сожалению, невозможно. В то же время, если когда-то интернет-пользователи разительно отличались от населения в целом, то теперь, когда они составляют большинство населения, и их доля неуклонно растет, различия между пользователями и населением в целом уменьшаются, и со временем онлайн-опросы могут стать надежным
источником информации о населении нашей страны. Тем не менее пока до этого далеко, и мы будем считать, что наша генеральная (исследуемая)совокупность — это все пользователи Интернета.
Общая ошибка представляет собой разность между истинным средним значением изучаемой нами величины по всем элементам генеральной совокупности, и средним, рассчитанным по собранным в ходе опроса данным. Общая ошибка складывается из случайной ошибки выборки, связанной с тем, что расчет ведется по данным о выборке, а не всей генеральной совокупности, и ошибок, не связанных с формированием выборки. Случайная ошибка выборки возникает от того, что мы обращаемся с просьбой об опросе не ко всем, а только к некоторым случайно отобранным представителям исследуемой совокупности. Соответственно, оценить эту ошибку можно, лишь исходя из предположения, что выборка строится путем случайного отбора3. Если исследуемой совокупностью является множество всех интернет-пользователей, то чтобы построить случайную выборку, мы бы должны были составить список всех интернет-пользователей и произвести из них случайный отбор. Но на практике вместо этого на крупных сайтах размещается приглашение записаться в онлайн-панель, таким образом, в панель попадают лишь добровольцы. Таким образом, ни о каком случайном отборе из числа всех пользователей Интернета речь тут не идет, максимум, о случайном отборе из
2 http://runet.fom.ru/Proniknovenie-interneta/11067 Интернет в России: динамика проникновения. Лето 2013.
3 Малхотра Нереш К. Маркетинговые исследования. Практическое руководство. 3-е изд. /Пер. с англ. - М.: Вильямс, 2002.
числа представителей определенной панели добровольцев. Поэтому оценить случайную ошибку выборки при проведении таких онлайн-опросов не представляется возможным. А поскольку формирование панели проводится не случайными методами, важно представлять, какие ошибки, не связанные с выборкой (смещения) могут возникать при этом.
Очень важно понимать, какие люди в большей мере склонны записаться в ту или иную панель. Исходя из этого, можно ожидать тех или иных смещений в данных по тем или иным характеристикам. Наши добровольцы — это в каком-то смысле особенные люди, с определенным характером, поведением, стилем жизни. Возможно, они более приветливы, возможно, у них несколько больше свободного времени, чем у других пользователей Интернета. В общем, они какие-то другие. Например, датские исследователи ( Vonk, van Ossenbruggen, and Willems, 2006) наблюдают постоянную недорепрезентатив-ность групп этнических меньшинств и эмигрантов в Dutch online panel, в этой панели заметно завышены доли активных пользователей Интернета и сторонников Социалистической партии и заметно занижена доля лиц, регулярно посещающих церкви4. Похожую ситуацию наблюдают американские исследователи (Couper, 2000; Deveret al., 2008; Chang and Krosnick, 2004 and2008; andMalhotra and
Krosnick, 2007), в их онлайн-па-нели непропорционально больше белого населения, активных интернет-пользователей и успешных в плане учебы и карьеры респондентов. Исследование Piekarski, et al. (2008) указало на существенные различия в установках и поведении пане-листов по сравнению с американским населением в целом, так, например, они чаще вовлечены в гражданско-политиче-скую деятельность, им менее свойственны религиозность и традиционные гендерные роли, они в сравнительно большей степени обеспокоены проблемами охраны окружающей среды5.
Следует иметь в виду и то, что у каждого владельца панели своя схема и источники рекрутирования, которые являются их ноу-хау, поэтому участники двух разных панелей могут различаться, например, из-за того, что разные владельцы панели могут предлагать респондентам разные стимулы. Это существенно влияет на то, какие люди запишутся в ту или иную панель, вследствие чего исследовательские выводы, сделанные на основе опросов по разным панелям, будут кардинально различаться.
В то же время,эти отклонения в характеристиках участников панели по сравнению со всеми интернет-пользователями могут как вносить, так и не вносить существенные смещения в наши оценки. Все зависит от того, что мы пытаемся измерить. Если изучаемые нами показатели не корре-
лируют или слабо коррелируют с теми свойствами людей, в силу которых они соглашаются войти в определенную онлайн-панель, заметных смещений между участниками онлайн-опроса и пользователями Интернета в целом могут и не возникнуть.
Подчеркнем: целью является значительная доля от всех пользователей Интернета! Нас не должны вводить в заблуждение гигантские численности участников той или иной панели. Американский практик Пит Кумли фиксирует, что более 75% пане-листов являются участниками одновременно трех и более панелей6. Более того, один и тот же панелист может регистрироваться не только в нескольких панелях одновременно, но ив одной панели, используя разные почтовые ящики. А такие активные респонденты во многих отношениях ведут себя по-особому, по их ответам очень опасно судить о мнениях пользователей Интернета в целом.
Следующая беда онлайн-пане-лей состоит в том, что из-за отсутствия личного контакта интервьюера с респондентом проверить персональные данные, которые сообщают о себе респонденты, невозможно. В ходе онлайн-опроса, проведенного компанией GVU's User Survey, только 60% респондентов ответили, что никогда не фальсифицируют сведения о себе, а остальные 40% при заполнении форм время от времени используют вымышленные данные7.
4 Vonk, T.W.E., Ossenbruggen, R & Willems, P. (2006). "The effects of panel recruitment and management on research results." ESOMAR Panel Research 2006.
5 Piekarski, L., Galin, M., Baim, J., Frankel, M., Augemberg, K. & Prince, S. (2008). "Internet Access Panels and Public Opinion and Attitude Estimates." Poster Session presented at 63rd Annual AAPOR Conference, New Orleans LA.
6 Comley, P. Understanding the online panelist // Paper presented at the Annual ESO.
7 GVU's Eighth WWW User Survey Report (in color). Contains analysis and graphs of key findings from the 8th Survey and longitudinal analysis of emerging trends. Authored by: Colleen Kehoe, James Pitkow, and Kimberly Morton, December 1997.
Итак, любая существующая сегодня панель, даже огромная по размеру и очень точно отражающая социально-демографическую структуру пользователей Интернета, может содержать отклонения от структуры последних по тем или иным характеристикам, если эти характеристики коррелируют со склонностью включиться именно в эту панель.
Если теперь говорить об участниках панели, как обо всех представителях исследуемой совокупности, то в рамках созданной панели мы уже можем говорить о планировании случайной выборки для проведения конкретного исследования. Соответственно, по сравнению с панелью в целом, мы уже имеем возможность оценить случайные отклонения, которые могли бы возникнуть при отборе членов панели для конкретного опроса, если бы каждый, кто был отобран для опроса, принял в нем участие. Считается, что слишком маленькая вероятностная выборка может не обеспечивать достаточной мощности статистического теста, однако выборки онлайн-исследований обычно велики, и стоимость рекрутирования дополнительных респондентов сопоставима с нижней границей стоимости увеличения объема выборки офлайн. Таким образом, расхождения между структурами панели и плановой выборки могут быть сделаны очень небольшими.
Однако при построении случайной выборки участников онлайн-панели, исследователи, как правило, идут по другому пути. Они стараются выдержать пропорции, характерные для населения в целом. Задаются квоты по каким-то параметрам, как правило,
это пол, возраст, уровень образования, место жительства. Так, например, часто предполагают, что соблюдение пропорций по полу и возрасту гарантируют соблюдение пропорций, например, по способу проведения свободного времени. Но достаточно ли этих социально-демографических характеристик, чтобы судить о населении в целом? Как было показано выше, может оказаться, что по каким-то другим важным для оценки параметрам плановая выборка будет содержать смещения как от населения, так и от всех пользователей Интернета.
Пойдем дальше. Плановая выборка практически всегда отличается от той, по которой реально удается провести опрос. Хотя всем представителям нашей плановой выборки рассылаются приглашения к участию в опросе, на приглашения откликаются не все, и запланированные пропорции нарушаются. При этом неизбежно возникает ошибка неответа (ошибка из-за отсутствия ответа или ошибка неполучения данных), которая порождается отсутствием данных об ответах некоторых респондентов, которые должны были войти в выборку, но не вошли в нее.
Принято различать две возможные причины неполучения данных — это отсутствие респондента и его отказ от участия. Ошибка из-за отсутствия возникает, если в период проведения опроса у потенциальных респондентов нет доступа к той своей электронной почте, на которую приходят приглашения к участию в опросе, так происходит смещение фактической выборки в сторону чаще «присутствующих» у компьютера. Ошибка из-за отказа возникает, когда часть по-
тенциальных респондентов, получивших приглашение, отказывается принимать участие в опросе, например, потому что им не интересна тема исследования. Это вызывает чрезвычайно опасные с точки зрения принятия по данным опроса практических решений смещения фактической выборки от плановой в пользу лиц с повышенным интересом к теме. Впрочем,справедливости ради следует отметить, что сегодня такая проблема во весь рост стоит и при опросах «лицом к лицу»: число отказов от участия в интервью возросло настолько сильно, что зачастую ими заканчивается более половины всех обращений интервьюера.
Конечно, при проведении он-лайн-опросов можно быстро обнаружить возникающие нарушения структуры выборки и провести дополнительную рассылку приглашений и добрать нужных респондентов. Однако добор этот вновь осуществляется за счет людей согласных, готовых отвечать, например, в силу заинтересованности в оплате. И каждое из такого рода свойств респондента будет вносить свои смещения. Например, скорее всего, люди, заинтересованные в оплате, обладают сравнительно более низким доходом, что внесет смещение в сторону низкодоходной группы, тогда как изначально квоты по этому параметру не задавались. В результате фактическая выборка даже не отличаясь от плановой по размеру, может существенно отличаться от нее по составу.
Мы обсудили проблемы, возникающие из-за отсутствия ответов. Переходя теперь к описанию ошибок ответов, важно отме-
тить, что они могут возникать не только в ходе полевых работ, но даже и на первоначальном этапе планирования исследования. В зависимости от того, кто может их совершить: исследователь, респондент или интервьюер, эти ошибки обычно делят на три группы, но поскольку в онлайн-опро-сах интервьюера нет, от ошибок третьей группы результаты он-лайн-опросов не страдают.
Ошибки исследователя могут вызываться несколькими причинами. Во-первых, бывают случаи, когда он неправильно определяет, какая информация нужна для решения конкретной маркетинговой задачи, например, вместо потребительского выбора, собирает данные о потребительских предпочтениях. Действительно, человек может предпочитать Hennessy, а приобретать «Арарат»!
Во-вторых, исследователь может ошибиться с выбором шкалы измерения. Например, хотя маркетолога интересуют предпочтения потребителей, в опросе используется шкала, отражающая восприятие.
В-третьих, исследователь может неточно выбрать генеральную совокупность. Действительно, правильно сделать это на практике бывает очень сложно. Например, пусть нужно изучить высокодоходное население. Кто эти люди? Может, это люди с доходом выше определенного уровня, а может, это верхние 20% домохозяйства по доходу, или домохозяйства, обладающие определенной собственностью? А может быть, это люди, считающие, что не испытывают материальных затруднений? Этот список можно продолжать, и ясно одно:
результаты исследования будут сильно разниться в зависимости от того, какое именно определение выберет исследователь.
В-четвертых, исследователь может неверно избрать основу для построения выборки. В данном случае речь идет о неудачном выборе онлайн-панели. Такого рода проблемы уже обсуждались нами выше. Поэтому здесь лишь отметим, что когда речь идет о панельных онлайн-исследованиях, принято различать ошибку неохвата и ошибку перебора. Ошибка неохвата возникает, когда определенные части генеральной совокупности отсутствуют в панели. Ошибка перебора в случае онлайн-опросов может возникнуть, например, если респондент имеет несколько электронных адресов, два компьютера, и это повышает вероятность его включения в выборку.
Наконец, в-пятых, исследователь может ошибочно провести анализ данных, например, неверно их интерпретировать или избрать нерелевантные способы математического анализа, например для обработки номинальных признаков применить классический факторный анализ. Справедливости ради следует отметить, что в отношении данной ошибки онлайн-опросы ничем не хуже и ничем не лучше любых других опросов.
Последнее, однако, никак нельзя сказать об ошибках, которые в ходе онлайн-опросов делает респондент, так называемых ошибках ответов. Они, как и ошибки исследователя, тоже могут возникать по нескольким причинам.
Во-первых, при онлайн-опросах респонденты зачастую некаче-
ственно заполняют анкеты, что бывает связано как с невнимательностью, так и с недобросовестностью респондентов. Возможности для такого заполнения открываются широкие, поскольку опытный интервьюер отсутствует. Чрезвычайно сложно проверить, читал ли респондент вопросы и внимательно ли заполнял анкету. По данным исследований Harris Interactive, около 75% респондентов допускают как минимум одну ошибку в каждом опросе8. Возможно, причиной невнимательного прочтения и заполнения анкет является низкая вовлеченность респондентов, так как порой опросы скучны и утомительны. Таким образом, снизить ошибку ответа можно путем повышения мотивации респондента к вдумчивому и внимательному прочтению анкеты, например, исследователь может сделать внешний вид анкеты более привлекательным, включить элемент игры. Кроме того, для выявления такого рода ошибок и несообразностей существует техника проверочных вопросов, позволяющая забраковывать недобросовестных респондентов.
Во-вторых, для онлайн-опро-сов характерен эффект постоянного участия в опросах (так называемый эффект «приспособления», paneiconditioning). Респонденты, постоянно принимающие участие в опросах, зачастую заполняют анкеты не так, как это делают новички. Так, показано, что они несколько чаще выбирают первые варианты ответов на вопросы, чаще выражают однотипные установки во всех строках при ответе на табличные вопросы, другими словами, придерживаются «быстрой» стратегии
8 Сборник статей под ред. Шашкина А.В., Девятко И.Ф., Давыдова С.Г. М.: РИЦ «Северо-Восток», 2010.
заполнения анкет. Компания General Mills провела эксперимент: из одной панели в результате опроса были созданы две выборки, по которым были получены совершенно разные результаты. Исследователи предположили, что это может быть связано, в том числе, и с тем, что в составе одной выборки оказались в среднем более опытные респонденты9.
В-третьих, нередко респондент не может дать точного ответа, т. к. не разбирается в предмете, забыл то, о чем спрашивают. Часто в таких ошибках бывает виновата неправильная постановка вопроса. Например, респонденту трудно вспомнить с точностью до часа, что он делал неделю назад.
В-четвертых, нередко респондент, который согласился участвовать в исследовании, отказывается, тем не менее, отвечать на отдельные вопросы. Такие ошибки называют ошибками пропуска. На практике исследователям часто приходится браковать такие анкеты и не учитывать таких респондентов при анализе, что приводит к дополнительным смещениям в оценках.
Мы перечислили много источников ошибок в онлайн-опросах, причем некоторые из этих ошибок оказались характерны не только для онлайн-, но и для оф-лайн-опросов. Обладают онлайн-опросы в плане возможных ошибок и важным преимуществом: при их проведении ниже вероятность получить социально допустимые, социально одобряемые ответы, так как респондент не стесняется интервьюера. Это — довод в пользу онлайн-опросов при изучении деликатных тем.
Итак, есть много источников угроз качеству данных онлайн-опросов, и задача исследователя заботиться о снижении общей ошибки, а не отдельных ее компонент. Например, некоторые исследователи часто увеличивают выборку, чтобы уменьшить связанные с ней ошибки, благо стоимость рекрута дополнительных респондентов по сравнению с офлайн-опросами невелика. В такой ситуации нередко растет вероятность допустить другие ошибки, а они «хуже», чем ошибки выборки, так как их нельзя оценить.
Несмотря на растущее число публикаций по онлайн-исследо-ваниям, наблюдается недостаток теоретических и эмпирических работ, затрагивающих их фундаментальные основы. Необходимо восполнить пробелы в отечественной методологии маркетинговых исследований. Обсуждение базовых методологических вопросов проведения онлайн-исследований, рассмотрение проблем валидности и репрезентативности онлайн-данных, а также поиск возможностей повышения качества этих данных позволит увеличить интерес к онлайн-исследованиям, как в научной, так и в бизнес-среде.
Как уже отмечалось ранее, смещения оценок возникают из-за отличая атрибутов панелистов от атрибутов генеральной совокупности, будь то население в целом или даже интернет-пользователи. Есть необходимость понять, что это за атрибуты, оценить размер смещений и ситуации, при которых эти сме-
щения будут значительны настолько, что принимать решения по данным онлайн-опроса окажется опасно.
Мы показали, что онлайн-опросы, несмотря на большие потенциальные возможности, могут приводить к существенным смещениям. Например, когда часть потенциальных респондентов, получивших приглашение, отказывается принимать участие в опросе, потому что им неинтересна тема исследования, тогда возникают чрезвычайно опасные,с точки зрения принятия по данным опроса практических решений, смещения фактической выборки от плановой в пользу лиц с повышенным интересом к теме. Мы полагаем, что при опросах на одну тему такие смещения могут быть больше, а на другую — меньше. Величина этих смещений зависит от наличия и силы корреляции между теми признаками потенциальных респондентов, которые мы хотим изучить и теми которыми определяется склонность участвовать в опросах на те или иные темы. Другими словами, можно предположить, что для опросов на одни темы онлайн-метод подходит в большей степени, а на другие — в меньшей, и лучше пользоваться традиционными методами опроса.
Одним из способов решения данной задачи может стать моделирование онлайн-опросов на разные темы по данным, полученным в результате офлайн-опросов по репрезентативной выборке. Например, таким массивом данных могут служить результаты офлайн-опросов населения, проведенных «Фон-
9 Baker, R. Caught in the Web // Research World. June 2008. P. 9-11.
дом Общественное Мнение» (ФОМом) с применением случайной маршрутной выборки, репрезентирующей население РФ. Благодаря тому, что в каждом из этих опросов респондентов, с одной стороны, спрашивали, пользуются ли они Интернетом, а с другой — предлагали принять участие в последующих опросах на те или
иные темы, появляется возможность изучить особенности респондентов, склонных участвовать в тех или иных онлайн-опросах, оценить соответствующие смещения и отыскать способы его уменьшения.
Далее, чтобы проверить валид-ность полученных результатов, мы предполагаем провести мето-
дический эксперимент методом онлайн-опроса и сравнить его результаты с результатами офлайн-опросов ФОМа. Результаты подобного исследования могут стать основой для дальнейших исследований в области методологии маркетинговых онлайн-ис-следований.
REFERENCES
1. www.esomar.org GLOBAL MARKET RESEARCH 2012 - Esomar.
2. http://runet.fom.ru/Proniknovenie-interneta/11067. Internet v Rossii: dinamika proniknoveniya. Leto 2013.
3. Malhotra, Naresh K. Marketingovye issledovaniya. Prakticheskoe rukovodstvo. 3-e izd. [Malhotra, Naresh K. Marketing Research: an applied orientation, 3th edition ] In Russian. Moscow, Vilyams Publ, 2002.
4. Vonk, T.W.E., Ossenbruggen, R & Willems, P. (2006). The effects of panel recruitment and management on research results. ESOMAR Panel Research 2006.
5. Piekarski, L., Galin, M., Baim, J., Frankel, M., Augemberg, K. & Prince, S. (2008). Internet Access Panels and Public Opinion and Attitude Estimates. Poster Session presented at 63rd Annual AAPOR Conference, New Orleans LA.
6. Comley, P. Understanding the online panelist. Paper presented at the Annua/ ESO.
7. GVU's Eighth WWW User Survey Report (in color). Contains analysis and graphs of key findings from the 8th Survey and longitudinal analysis of emerging trends. Authored by: Colleen Kehoe, James Pitkow, and Kimberly Morton, December 1997.
8. Sbornik statey pod red. Shashkin A.V., Devyatko I.F., Davydov S.G. Moscow, RITs «Severo-Vostok», 2010.
9. Baker, R. Caught in the Web. Research World. June 2008, pp. 9-11.
