CC BY
55Профессиональные респонденты — камень преткновения качества онлайн-опросов в современной России
Статья посвящена профессиональным респондентам, влиянию их деятельности на качество онлайн опросов в современной России, а также способам преодоления профессиональным социологическим сообществом недостатков, связанных с использованием услуг профессиональных респондентов в сети Internet.
Ключевые слова: Онлайн-опросы, профессиональные респонденты, интернет-панели, качество социологического исследования.
Шамиль Фарахутдинов
доцент кафедры социологии Тюменского государственного нефтегазового университета ст. науч. сотрудник Центра изучения общественного мнения
НИИ ИО ТюмГНГУ fshamil@mail.ru
Сбываются прогнозы Б.З. Докторова, о том, что "в ближайшие годы мы станем свидетелями бурного развития онлайновых технологий опроса в США и во многих странах. Социологические наблюдения за динамикой Рунета и развитием российской аудитории Интернета показывают, что тоже самое будет происходить и в России. Социологи и исследователи рынка не будут ждать, когда Интернет станет обыденностью в стране, они будут делать его обыденностью"1.
К сказанному хочется добавить, что обыденностью социологические исследования в Рунете делают не только социологи и исследователи рынка, но и рядовые пользователи сети. В настоящее время проблема поиска респондентов для социологических и маркетинговых исследований отчасти превращается в проблему выбора, поскольку активно формируется особый сегмент интернет пользователей — профессиональные респонденты. Эти люди продают исследователям информацию о своих предпочтениях, привычках, готовы высказать свою точку зрения относительно того или иного товара или услуги, социальной проблемы.
Механизм взаимодействия респондента и исследователя довольно прост. Человек регистрируется на одном из сайтов компаний, занимающихся онлайн исследованиями, заполняет анкету, где детально указывает всю информацию о себе. Впоследствии, ему на электронный адрес периодически приходят приглашения к участию в опросах. За каждую заполненную анкету респондент получает денежное вознаграждение. При этом компания обеспечивает конфиденциальность полученных от респондента данных.
Масштабы данной деятельности достаточно существенны. Приведем пример. До недавнего времени в одной из самых популярных поисковых систем "Google" была такая особенность. При наборе текста в строку поиска автоматически всплывало окно, в котором появляются 10 наиболее часто набираемых фраз. Рядом указывается приблизительное количество обращений людей по этой фразе. Вводя запрос "работа в Интернет..." автоматически всплывало окно, среди прочих фраз близких к теме запроса на четвертом месте можно было увидеть: "работа в интернете заполнение анкет" — количество обращений 370 000. При введении запроса "онлайн опросы за деньги" система показывала уже 1 910 000 обращений к этой фразе2.
Учитывая наличие множества других поисковых систем, а также различные синонимичные формы запроса по рассматриваемой тематике несложно представить себе степень заин-
тересованности российских Интернет-пользователей в платных онлайн опросах. Создается большое количество форумов, в которых пользователи обсуждают преимущества и недостатки различных компаний платных опросов; формируют черные списки компаний, к которым, по мнению профессиональных респондентов, нет доверия; публикуются ссылки на сайты оплачиваемых опросов, не очень распространенные в сети, найденные пользователями и т.д. Как и положено, в таких случаях, рассматриваемая сфера обрастает посредниками — появляются "дельцы", формирующие свой список сайтов, и продают информацию тем, кто хочет зарабатывать на исследованиях и при этом не тратить время на поиск компаний платных опросов.
В настоящей статье хотелось бы тезисно выразить свое мнение относительно рассматриваемого процесса, а также сделать ряд методологических замечаний связанных с онлайн опросами в современных российских условиях. Учитывая сложность проведения репрезентативного эмпирического исследования рассматриваемой аудитории в силу объективных причин, приведенные ниже выводы основываются на обзорах сайтов исследовательских компаний, форумов профессиональных респондентов, а также личных логических умозаключениях автора.
По мнению автора, качество опросов проводимых в сети в современных российских условиях значительно ниже опросов реальных людей при помощи интервьюеров. Это связано с рядом факторов.
Во-первых: проблемы с реализацией выборки — качественной репрезентации различных слоев населения в выборочной совокупности. Вряд ли состоявшийся человек будет искать возможность заработать небольшую сумму денег в Интернете, отвечая на вопросы длинной анкеты, содержащей большое количество фильтров и вопросов-ловушек. Не позарятся на подобный заработок и представители так называемого базового слоя российского общества: учителя, врачи, представители социальной сферы — люди занятые решением текущих бытовых проблем. Что и говорить о пенсионерах. Обладая свободным временем — у этой страты, как правило, отсутствуют навыки пользования Интернетом, кроме того они характеризуются низким уровнем потребления, что делает их потенциально не интересными для маркетинговых исследований. Этот список можно продолжать и дальше, гораздо проще охарактеризовать типичного профессионального респондента — это молодой
1 Докторов Б. Онлайновые опросы: обыденность наступившего столетия // Телескоп: наблюдения за повседневной жизнью петербуржцев. 2000. №
4. С. 16 - 31.
2 Данные запросы были сделаны автором 2 октября 2009 года.
46 Методология и методы ~Гелескоп / №2 (86) / 2011
человек, ищущий легкого заработка в Интернете.
Отсюда вытекает второй недостаток Интернет опросов. В погоне за заработком профессиональные респонденты готовы пренебрегать этическими принципами: регистрироваться под видом представителей других слоев общества, приписывать себе не свойственные привычки и пристрастия, указывать в своих анкетах при регистрации не свой пол, возраст и другие социально-демографические характеристики. Надежная гарантия того, что на вопросы виртуальной анкеты ответил реальный респондент, подходящий под целевую аудиторию, — мечта любого заказчика онлайн — исследования. По словам Натальи Калгиной, руководителя отдела маркетинговых исследований компании "Аквион", успешная выполнимость этой задачи всегда ставится под вопрос. "Мы пока не встречались ни с одним стоящим примером реализации проверки личности респондента... Поэтому это все еще актуальная задача. Если она будет реализована, то, во-первых, мы будем уверены, что опросили именно женщин 25-45 лет, а не школьников, которые зарабатывают себе на карманные расходы, а, во-вторых, вероятность утечки информации о наших планах к конкурентам будет мала"3.
Таким образом, высока вероятность прямой фальсификации ответов на вопросы анкеты, что может не только негативно повлиять на качество исследования, но и свести к нулю его ценность.
Третьим недостатком использования профессиональных респондентов для маркетинговых и социологических целей является отсутствие прямого контакта с интервьюером, что не может не сказываться на его искренности. Так, при изучении проблем взаимодействия респондентов и исследователей Мягков Ю.А. указывает на результаты исследований по сравнению данных, полученных разными методами опроса. Эти данные свидетельствуют, что уровень искренности ответов респондентов зависит не только от содержательного типа вопроса, но и весьма существенно — от способа контакта с опрашиваемыми в процессе сбора социологической информации. Эта зависимость опосредована в первую очередь ситуацией опроса, основные параметры и характеристики которой во многом задаются организационно-техническими особенностями применяемого метода и существенно влияют на характер взаимодействия сторон4. До появления онлайновых опросов самым слабым звеном в методическом арсенале социологии считались телефонные интервью. Они заметно уступали прочим методам сбора данных с точки зрения достоверности и качества собираемой информации. В интервью, проводимых по телефону, был обнаружен целый ряд изъянов, свидетельствующих о недостаточной надежности этого метода. Считалось, что телефонные интервью "провоцируют" появление неискренних ответов значительно чаще, чем остальные разновидности опроса. Можно не сомневаться, что появлением онлайновых опросов пальму первенства в этом отношении перехватили последние. Если в телефонном интервью имеет место, хоть какое-то взаимодействие интервьюера и респондента, в онлайновых опросах нет даже намека на межличностное общение.
Четвертый недостаток связан с частотой участия в опросах профессиональных респондентов. Вполне логично, что желание респондента получать деньги за заполнение анкеты вряд ли можно считать ненормальным, сегодня это распространенная практика при проведении самых разных видов исследований. Таким образом, для того чтобы получить более или менее значимый доход, профессиональные респонденты вынужде-
ны регистрироваться на большом количестве сайтов платных опросов, в том числе и иностранных. В результате получается ситуация, когда слишком часто заполняющий анкеты панелист "перекашивает" статистику, требующую случайного выбора опрашиваемых. В случае же если профессиональный респондент ведет свою деятельность "глобально", то есть является представителем другой страны (даже если и соседней), ситуация усугубляется — вряд ли возможно эффективное общение между участниками проекта, при различии культурных и исторических контекстов.
В одной из своих основных работ С.А. Белановский говорит о некоторых ограничениях на участие в фокус-группах, одно из которых касается лиц, знакомых с процедурой проведения исследования этим методом. ""Профессиональные", повторные респонденты, в отличие от непрофессиональных, часто становятся весьма искушенными в своих выступлениях, умеют разгадывать цели исследования и обычно говорят то, что, как они догадываются, ждет от них модератор. Хорошее знание процедуры обсуждения в сочетании с осознаваемой или неосознаваемой неискренностью делает присутствие таких людей весьма опасным источником искажений, тем более что внешне они выглядят, как "идеальные" респонденты"5.
Здесь можно возразить, что метод фокус-групп принципиально отличен от метода опроса, хотя бы даже в том плане, что первый является качественным, второй количественным методом. Тем не менее, на мой взгляд, общий принцип поведения респондента, обусловленный законами психологии человека справедлив как для одного, так и для другого метода. Человек, который специально не готовится к предстоящему опросу, а "застигается врасплох" интервьюером, в большей мере склонен высказывать правдивые суждения, чем тот, кто постоянно готов отвечать на вопросы и неоднократно прокручивает у себя в голове различные схемы опросов.
Отдельно следует отметить, что многие компании платных опросов называют сформированную базу данных панелью, а профессиональных респондентов — панелистами. В строгом смысле слова это не совсем так. В методологии социологического исследования панельное исследование (рассматриваемое как одна из разновидностей лонгитюдных) — это один из видов социологического наблюдения, в котором информация собирается посредством нескольких опросов членов постоянной выборочной совокупности (панели). Лонгитюдные исследования применяются, если требуется проследить историю развития некоторого рода объектов и влияние на них определенных событий в течение достаточно продолжительного времени. При этом известно, что за это время происходит некоторое событие, и цель исследования состоит в том, чтобы рассмотреть, как влияет наступление этого события на поведение экспериментальной группы, для этого сравниваются наблюдения, сделанные до наступления исследуемого события и после6. В реальности получается, что на одной и той же базе профессиональных интервьюеров проводятся самые разнообразные исследования. Если учесть тот факт, что состав "панелей" исследовательских онлайн компаний динамичен как в количественном, так и в качественном плане, правильнее бы называть их, например, "респондентской базой".
Естественно, что все описанные выше недостатки осознаются всеми участниками рынка онлайн опросов — как заказчиков таких исследований, так и их исполнителями. Вероятно, что рассмотренные проблемы существуют не только в России. Подтверждением сказанного является тот факт, что Междуна-
3 Дмитрий Фролов, Анна Рыбникова. Качество он-лайн исследований: способы контроля (перепечатка с сайта sostav.ru) // сайт Электронного
периодического издания "Динфор" (электронный ресурс http://www.dinfor.ru)
4 Мягков А.Ю. Искренность респондентов в массовых опросах: Дис. ... д-ра социол. наук: 22.00.0l / А.Ю. Мягков. — Иваново, 2003. — 401 с.; Мягков А.Ю. Влияние метода сбора данных на вербальное поведение респондентов // Социологический журнал. 1999. № 1/2.
5 Белановский С.А. Метод фокус-групп — М.: Издательство Магистр, 1996. 272 с
6 http://ru.wikipedia.org/
родная профессиональная ассоциация исследовательских компаний ESOMAR разработала ряд документов направленных на улучшение качества онлайн опросов, в том числе и снижения негативных последствий связанных с профессиональными респондентами. Среди этих документов можно выделить "Руководство по проведению маркетинговых и социологических исследований в сети Internet" а также "26 вопросов ESOMAR", на которые должен ответить клиенту каждый поставщик решений в области онлайн исследований7. Эти документы определяют стандарты качества, которые касаются рекрутирования участников, верификации их персональных данных, проверки достоверности информации, стимулирования респондентов и обеспечения функционирования онлайн панелей.
В документе "26 вопросов ESOMAR", имеются вопросы прямо или косвенно касающиеся предотвращения нежелательных последствий деятельности недобросовестных профессиональных респондентов. Таких вопросов почти половина и касаются они следующих аспектов:
• типов используемых источников онлайн выборки;
• способов рекрутинга труднодостижимых групп респондентов в Интернете;
• ежегодного уровня удержания участников панели;
• способов проверки личности участников; способов выявления недобросовестных респондентов в момент заполнения анкет;
• возможности описания активных панелистов в зависимости от источника рекрутинга;
• процесса формирования выборки; возможности применения процедур, исключающих определенных респондентов из выборки.
• частоты получения приглашения на участие в опросе в течение определенного периода времени; наличия истории участия в исследованиях и установка ограничений на количество получаемых приглашений;
• использования выборок других поставщиков услуг онлайн опросов, принципа отбора партнеров; возможности удаления дублирующихся панелистов при использовании выборок из различных источников.
• ограничений на участие респондента в нескольких панелях.
• хранения данных об участниках (история участия в исследованиях, дата вступления в панель, источник, с помощью которого рекрутирован панелист); возможности предоставления клиентам анализа таких данных, и др.
Наилучшими профессиональными респондентами считаются те, кто принимает участие в исследованиях, потому что им это интересно, или если хотят помочь производителям улучшить их товары и услуги. Считается, что такие респонден-
ты действуют, в основном, из альтруистических побуждений, а денежное вознаграждение является лишь дополнительным (второстепенным) стимулом. Многие исследовательские компании, указывают на то, что таких респондентов в их панелях большинство, ссылаясь при этом на собственные исследования удовлетворенности панелистов. Однако тут возникает ряд вопросов. Насколько, опять же, правдиво панелисты отвечали на вопросы таких исследований? Не было ли при ответе на эти вопросы страха быть исключенным из панели, если ответы окажутся "не правильными"? С другой стороны — не является ли доминирование в выборке "альтруистов" фактором её искажающим? Ведь мало быть альтруистом, чтобы постоянно отвечать на огромное количество вопросов анкеты, затрачивая при этом свое время, необходимо еще иметь и активную жизненную позицию! А таких личностей в нашем обществе, особенно учитывая российскую ментальность, единицы, при этом, зачастую, активными потребителями оказываются не они, а люди с противоположными жизненными ориентирами.
Таким образом, вопросы, связанные с профессиональными респондентами, возникающие при проведении онлайн исследований являются краеугольным камнем, во многом определяющим качество онлайн исследований. В целом же проблемы стоящие перед онлайн исследователями гораздо шире и не ограничиваются лишь профессиональными респондентами. Сюда можно отнести число задач, которые имеет смысл решать при помощи онлайн опросов, вопросы пересечения исследуемой генеральной совокупности и интернет-аудитории, численность российской интернет-аудитории, ее географическое распределение и мн.др. С целью преодоления существующей ситуации большая роль должна отводиться социальной ответственности компаний, занимающихся исследовательскими работами в сети. Необходима разъяснительная работа, касающаяся границ применимости онлайн опросов, доказательство ва-лидности проведенных исследований конкретными цифрами. Существенным шагом вперед в этом направлении могут стать инициативные исследования Research-on-Research, когда данные онлайн-опросов сравниваются с данными, полученными в ходе телефонных или квартирных интервью.
В заключении хочется отметить, что в то время пока многие заказчики очень настороженно относятся к онлайн исследованиям как методу, а исследовательское сообщество ищет пути улучшения качества онлайн опросов, снижения побочных эффектов деятельности профессиональных респондентов, действительность не стоит на месте. Такие базовые преимущества онлайн исследований как скорость выполнения и низкие цены на фоне развития Интернета в России и мире только стимулируют развитие и актуализируют использование этого метода.
7 Ознакомиться с указанными документами можно на официальном сайте ESOMAR http://www.esomar.org/
