CC BY
64
Дмитрий М. Рогозин
РАНХиГС, Москва, Россия
Фабрики «темных» ответов, или четыре негативных свойства современных опт-ин онлайн-панелей
Лабораторией методологии социальных исследований ИнСАП РАНХиГС в течение 2018 года проведена серия экспертных интервью с руководителями и специалистами компаний, работающих на рынке онлайн-исследований. Предметом обсуждений стали опт-ин онлайн-панели — наиболее востребованный и динамично развивающийся метод проведения онлайн-опросов. Выделены четыре негативные свойства, характеризующие современные российские онлайн-пане-ли. Во-первых, доминирование юридической фактографии, или правового описания социальных явлений в ущерб экспериментальным средствам наблюдения. Формализм и стандартизация процедур рабо-38 тают на переопределение социального и методического фактов в юри-
дический, согласно которому качество определяется соответствием предустановленной процедуре и законодательным нормам, а не здравому смыслу или научным критериям. Во-вторых, панельные опросы перенасыщены сфальсифицированными данными, ответами, сформулированными в ироничной, игровой тональности, не отвечающей требованиям опросной индустрии. Базовым психологическим состоянием всех участников опроса выступает недоверие по отношению к искренности друг друга. Игра по затемнению недоверия есть один из элементов культуры фальсификаций, направленной на легитимацию устоявшегося порядка. В-третьих, сформировался институт уклонения от ошибок, игнорирование и замалчивание регулярных смещений, редактирование и чистка массивов без сохранения первоначальных следов фальсификаций. Наконец, в-четвертых, основные игроки исследовательского рынка демонстрируют механику затем-
Рогозин Дмитрий Михайлович — кандидат социологических наук, старший научный сотрудник Института социологии РАН, заведующий Лабораторией методологии социальных исследований Института социального анализа и прогнозирования РАНХиГС (Москва). Научные интересы: профессия полевого интервьюера, методология социальных исследований, полевая этнография, биографический метод, социология старения. E-mail: rogozin@ranepa.ru Dmitry M. Rogozin — PhD in sociology, Head of the Laboratory for Social Research Methodology, Presidential Academy of National Economy and Public Administration. Research interests: professional field Interviewers, social research methodology, field ethnography, biographical method, sociology of aging. E-mail: rogozin@ranepa.ru
Социология
ВЛАСТИ
Том зо
№ 3 (2018)
нения данных и существенно снижают эвристичность получаемой информации. Критическое описание онлайн-панелей, представленное в статье, направлено на переосмысление развития цифровых исследований в опросной отрасли, обозначение вызовов и точек роста для методической культуры сбора и анализа данных.
Ключевые слова: качество данных, онлайн-исследования, опт-ин он-лайн-панели, цифровые исследования
Dmitry M. Rogozin, RANEPA, Moscow, Russia
"Dark Answer" Factories or Four Negative Features of Modern Opt-in Online Panels
In 2018, the Laboratory for Social Research Methodology (The Institute for Social Analysis and Forecasting, RANEPA) held a series of expert interviews with managers and experts from companies operating in the online research market. The topic of discussion was the online opt-in panel as the most popular and dynamic method of conducting online surveys. There are four negative features that characterize modern Russian online panels. First, there is a prevalence of legal descriptions of facts and social phenomena as opposed to experimental means of observation. Formalism and standardization of procedures work to redefine social and methodological facts into legal ones. According to the latter, quality is determined by compliance with a preestablished procedure and legal norms, but not with 39
common sense or scientific criteria. Second, panel surveys are oversatu-rated with falsified data and answers formulated in an ironic, playsome manner that does not meet the requirements of the survey industry. The basic psychological state of all survey participants is distrust towards each other's sincerity. The game of obscuring mistrust is peculiar to the culture of falsification aimed at legitimizing the established order. Third, there is an already formed institution of evading errors, ignoring and silencing regular shifts, editing and cleaning arrays without preserving the original traces of falsification. Finally, the main actors of the research market demonstrate the mechanics of blackout data and significantly reduce the heu-risticity of the information received. The critical description of the online panels presented in the article aims to rethink the development of digital research in the survey industry, identifying challenges and opportunities for the methodological culture of data collection and analysis.
Keywords: data quality, online research, opt-in online panel, digital research
doi: 10.22394/2074-0492-2018-3-38-53
Представьте, в вашем городе организовали фабрику по производству ответов на любые интересующие вопросы. Разместили ее в цехах бывшего машиностроительного завода, предварительно заложив кирпичами все окна. На фабрике проведено электричество, но производство ответов проводится в полной темноте. Ответы получаются разные: порой очевидные, порой весьма спорные. Никто
Sociology of Power Vol. зо
№ 3 (2018)
не знает, как организован процесс производства, но хозяева фабрики клянутся в надежности и валидности выпускаемой продукции, демонстрируют сертификаты и отзывы зарубежных экспертов.
Наконец под давлением общественности на фабрике организуют экскурсии для слишком любопытных заказчиков ответов. Единственное условие — экскурсии проходят при выключенном освещении. Вы записываетесь на экскурсию. Вам долго рассказывают о важности фабрики для населения города, о сложных технологических процессах, о всестороннем контроле качества, а потом экскурсовод ведет вас из цеха в цех. Чтобы не упасть и не столкнуться с механизмами, вы держитесь за руки с другими участниками экскурсии. Ничего не видно. В рассказах провожатого и посторонних звуках, природу которых вы понять не можете, проходит не менее часа.
На выходе вам вручают сертификат наблюдателя процесса производства ответов на любые интересующие вопросы. «Как же так? Ведь я ничего не видел! Какой из меня наблюдатель?», — удивляетесь вы. «Никто ничего не видел. Мы пробовали производить ответы на свету, но ничего не вышло. Поэтому решили затемнить весь процесс. Отсюда и название — фабрика темных ответов».
40 Такими фабриками в наше время выступают опт-ин панели,
в которых рекрутинг панелистов проводится вне случайного отбора посредством приглашения всех желающих1. Отсюда возникают огромные списки, измеряемые миллионами участников панели, из которых активными остаются проценты, а добросовестными — десятые или сотые доли процентов. О том, как функционируют опт-ин панели, и пойдет речь ниже.
Предмет и метод исследования
В 2017 году наша Лаборатория методологии социальных исследований ИнСАП РАНХиГС впервые выступила заказчиком исследо-
1 Онлайн-панели делятся на два типа: опт-ин и вероятностные панели. В онлайн-панели первого типа могут принять участие все желающие. Отбор, как правило, квотный, производится по мере возникновения запроса на опрос той или иной целевой группы. Второй тип, вероятностные панели, составляются через приглашение респондентов, отобранных на случайных выборках [Revilla, 2017, p. 138]. Второй тип требует намного больше времени и затрат, поэтому к нему редко прибегают в маркетинговых или социальных исследованиях. Напротив, опт-ин панели за счет дешевизны и непритязательности в исполнении уже к 2010 году стали занимать доминирующее место во всех онлайн-исследованиях [Brick, Dillman, Frankel, Groves, 2010]. Сейчас область применения панелей, основанных на неслучайном отборе, многократно расширилась. См., например: [Couper, 2017, p. 128; Sarstedt, Bengart, Shaltoni et al., 2018].
Социология власти Том 30 № 3 (2018)
вания, проводимого по онлайн-панели. Столкнувшись с рядом затруднений в интерпретации данных, отсутствием методической документации, невозможностью оценить основу выборки и недоумением организаторов от наших вопросов, мы решили провести серию интервью с представителями индустрии, так или иначе сталкивающимися с онлайн-панелями, имеющими собственное представление об особенностях функционирования этого метода опроса. Всего было проведено 15 интервью с руководителями подразделений ведущих компаний цифровой отрасли, включая Google, «Яндекс», «Мейл-Групп», рядом небольших исследовательских фирм, в том числе держателей онлайн-панелей, а также крупных компаний, выступающих заказчиками такого рода исследований. Для сохранения анонимности высказывания экспертов отредактированы и обезличены. Выделенные отступом и курсивом, они скорее отражают впечатление от интервью, нежели репрезентируют точку зрения говорящего. Это сделано для того, чтобы представить аргументы в их логической, не окрашенной экспертными статусами форме. Задача состоит не в том, чтобы убедить читателя в правильности аргумента, а в том, чтобы сформулировать гипотезу, подталкивающую к организации экспериментального плана, про- 41 верке высказывания. Экспертный статус последнего блокирует продуктивную критику представленных критических наблюдений.
Цель нашей исследовательской авантюры — зафиксировать методические вопросы и затруднения, как правило, остающиеся в тени научного и публичного дискурсов. Исследователи с большим энтузиазмом говорят о результатах и интерпретируют данные, нежели разбирают возможные смещения. Так сложилось в российской опросной индустрии, что методика зачастую служит лишь для легитимации внедренных технологий, отнюдь не для их критики или уточнения. Нарушив сложившиеся нормы обращения с методической информацией, мы рискуем навлечь на себя ответную критику апологетов «чистых и правильных» методов. Но именно для этого и предпринимаются подобные авантюры. Критика — предмет наших размышлений, основа для настоящей и будущей дискуссии.
Итак, перейдем к результатам, или впечатлениям от разговоров с экспертами.
Механика затемнения
На фабриках панельных опросов особенности ответов на анкетные вопросы «затемнены», т. е. сокрыты от постороннего взгляда. Переговоры с заказчиком опроса, формирование технического задания, основы ценообразования связаны с уже готовым результатом —анкетами, которые заполнены людьми, отвечающими заданным усло-
Sociology
of Power Vol. 30
№ 3 (2018)
виям отбора. Конверсия, или доля ответивших на вопросы от числа всех приглашенных, как правило, не превышает 5% — привычный уровень ответов не только для онлайн, но и телефонного опроса. Однако в телефонном опросе у нас нет возможности узнать о тех, кто отказался от участия. В онлайн-панели имеется не только заполненная первичная анкета с социально-демографическими характеристиками, но и история участия в других опросах, а значит, ответы на сотни, а то и тысячи смежных по тематике вопросов. С методической точки зрения — это подарок для организации контролируемых экспериментальных планов и наблюдения за серой зоной отказавшихся от участия. Но в практике онлайн-панелей не принято не только предоставлять заказчику подобную информацию, но и собирать ее, анализировать для корректировки совокупности опрошенных.
Причина отказа от уточнения релевантности включения пане-листа в выборку и оценки адекватности его ответов заключается в резком снижении рентабельности, а то и самой возможности опросить узкие целевые группы. Скорость проведения опроса напрямую связана с активностью панелистов, которая в свою очередь коррелирует с выработкой профессионального навыка заполнения 42 анкет. Заказчику не предоставляется методическая информация об участии панелистов в других исследованиях, поскольку подобная информация подрывает прозрачное описание методики организации выборки, вносит сомнения относительно релевантности собранных данных.
Панели, декларирующие сотни тысяч участников, на деле никакими панелями не являются. Они осуществляют обычный арбитраж трафика. Даже человек, давший согласие на участие, заполнивший анкету, тут же забывает о совершенном действии. Рассылка с напоминаниями и приглашениями — не что иное, как генерирование трафика, цель которого — заполненная анкета. Активная часть панели, как правило, составляет несколько процентов от заявляемой, и это те самые заинтересованные в заработке или интернет серфинге профессиональные респонденты. Потому и скрывается информация об основе панели, поведенческих характеристиках отвечающих. Лишь косвенно, по конверсии и переходам, мы можем судить о качестве основы. Но этого явно недостаточно, чтобы сказать что-то внятное о совокупности опрашиваемых.
Держатели панелей тратят основные усилия на обработку ответов, а также формирование сложных мультимедийных анкет, удобных выдач, формализованных расчетов. Интерес заказчика смещен с вопросов выборки на вопросы дизайна анкеты или графического оформления результата. Заполненная анкета — товар, выставленный на продажу. Эксперты раз за разом подчеркивают — основной, критический тип ошибок опт-ин панелей — это ошибки покрытия [Brick, Frankel, Dillman, Groves, et al., 2010, p. 713]. Практики, напро-
Социология власти Том 30
№ 3 (2018)
Sociology of Power Vol. 30
№ 3 (2018)
тив, лишь сетуют о необходимости проводить правильный отбор, на деле основное внимание уделяя дизайну анкеты, а не выборки.
Многие приходят к панелям только за респондентами. Тянут за собой софт, к которому привыкли: Survey Monkey, Survey Studio или вовсе на гугловском движке все норовят сделать. Забывают, что держатели панелей — не только над выборкой думают, но и анкету постоянно совершенствуют. Она у них, как правило, более продумана, функциональна, красива, наконец. Ни в какое сравнение ни с одним внешним поставщиком нельзя ставить дизайн их анкет. Единственное — освоить программирование анкеты сходу не получится. Недели две точно потребуется. Пока со скриптами разберешься, какие-то дополнительные возможности выучишь. С первого то взгляда все одинаково, только ручками можно разницу почувствовать. Ленятся осваивать новое — а совершенно напрасно.
Принципиальным элементом затемнения служит отказ от пробле-матизации поведения респондента по заполнению анкеты. Предполагается, что человек мотивирован на ответственные, серьезные ответы, не склонен жульничать, обманывать, шутить. Другими словами, панель «продает» некоторое осмысленное, мотивированное участие в опросе. Проверить последнее, исходя лишь из полученных ответов, невозможно. Но в онлайн среде остаются следы от большинства действий её участников. Панелисты в своем обмане, хитрости или лукавстве, в отличие от респондентов с улицы, «на виду». Всегда есть возможность сопоставить их поведение в текущем опросе, с прошлым поведением, оценить различия в логически схожих ответах. Но, несмотря на наличие разнообразной информации о прошлом поведении панелиста в сети, панель всегда ограничивается текущими ответами, по сбору которых и заключено соглашение с заказчиком.
43
В жизни мы суетные создания. Попробуй кому дай задание, попроси что-то сделать — тысячи причин найдет, чтобы отказать. И это речь о знакомом, близком человеке. Что говорить о незнакомце? А для исследований чрезвычайно важно знать и моделировать поведение, чтобы продукт подходящий подобрать, барьеры ненужные снять, в целом настроение человеку поднять пока он от размышления до покупки доходит. Потому панель — незаменимое средство. Человек вроде играется с заданием, из интернета не выходит, а мы весь его путь пишем. На какой сайт перешел, где задержался, кликнул на переход, потом решение принял о покупке. Эдакое customer journey без каких-либо напрягов, дополнительных обязательств и головной боли.
С одной стороны, участие в панели делает поведение респондента прозрачным: вместо нескольких десятков переменных за пане-листом тянутся десятки тысяч действий, которые доступны для анализа — иными словами, могут быть вписаны в аналитический
контекст. В личных и телефонных интервью в качестве контекста обычно рассматриваются содержание и порядок вопросов. Радикальное расширение контекста опроса за счет учета сетевого поведения респондентов позволяет пересмотреть основы опросной деятельности, идентифицировав ошибки измерения и отбора не только по текущему, но и по прошлым замерам. С другой стороны, организаторы панелей такое расширение не используют. Они эксплуатируют устоявшуюся методологию «атомарных» исследований, фактически следуя разработкам столетней давности. Для этого и требуется «затемнять» данные, не регистрируя их, не накапливая и не анализируя.
Юридическая фактография
Развитие интернета радикальным образом подорвало монополию государства на распоряжение личными данными граждан. Теперь персональная информация в том или ином виде доступна заинтересованным социальным агентам куда в большей степени, нежели 10-20 лет назад. Параллельно активизировались надзорные государственные институты, пытающиеся вернуть утерянный 44 контроль за жизнью «подданных». Фронтиром такого рода активности выступает законодательство о защите персональных данных. Детализация регламентов и норм контроля, ужесточение санкций за нарушения, разработка лицензионных форматов деятельности легитимировали затемнение данных. На всякий случай лучше вовсе не собирать информацию, чем подвергнуть себя рискам, вплоть до исправительных работ и тюремного заключения.
В современном юридическом поле наиболее распространены два защитных механизма. Во-первых, деперсонализация данных или умышленная потеря персональных идентификаторов и обработка лишь обезличенных массивов. Во-вторых, получение информированного согласия в письменной форме, где соглашение составляется заранее держателем персональных данных и зачастую включает широкие права по их использованию.
Онлайн-панель — очень хороший прием снятия всевозможных юридических рисков. Даже если случайным образом номера генерируешь для телефонного опроса, риск подмочить деловую репутацию высок. На каком основании звонишь человеку? Он давал согласие на обращение? Любой имеет право возмутиться,, начать жаловаться и, чего доброго, шум поднять. А в онлайн-пане-ли поставил галочку — автоматически подписал соглашение. Что бы там не происходило, юридически человек уже сдал себя, близких и всю свою жизнь. Понеслось: экран снимай, внешнюю камеру подключай, звук пиши, геолокацию замеряй. Прописано в соглашении корректно — никаких проблем. А разве кто читает тексты, когда галочки ставит? Может один на миллион, а то и меньше.
Социология власти Том 30
№ 3 (2018)
Хранение и обработка персональных данных — одна из наиболее уязвимых сторон ведения бизнеса в сфере производства информации. Российское законодательство построено таким образом, что отбивает всякое желание хранить собранную информацию. Слишком большие риски при возможной утечке или недобросовестном её использовании сотрудниками. Поэтому большая часть истории по защите персональных данных в опросной индустрии — это система предотвращения юридических преследований тех, кто эти данные обрабатывает, а не защита интересов людей, предоставляющих о себе сведения. Ссылки на то, что человек волен не подписывать предлагаемое соглашение, не снимают существующее правовое смещение в сторону законодателя и предпринимателя на рынке информационных услуг. Человек — лишь объект для построения юридической фактографии более статусных игроков информационного пространства. Формализм и стандартизация процедур работают на переопределение социального и методического фактов в юридический, согласно которому качество определяется соответствием процедуре и законодательным нормам, а не здравому смыслу или научным критериям.
45
Развитие панельных исследований в интернете идет по пути формализации и юридической легитимации опросной деятельности. Само по себе это хорошо. Но когда вместо того, чтобы разбирать смещения и ошибки, уточнять основу панели, начинают ссылаться где ни попадя на сертификацию по международным стандартам (ISO или ESOMAR— не суть), происходит явная подмена реальных отношений надуманными, нормативно пригодными. Вроде не чиновники работают, но по структуре производимого продукта от забюрократизированных государственных структур современные держатели панелей мало чем отличаются. Слышу об ISO-20252 (маркетинговые, социальные исследования) или ISO-26362 (работа с онлайн-панелями), о верификации участников опроса — сразу настораживаюсь. Вместо проверки качества меня убеждают в его несомненном присутствии.
Исследователи отдают себе отчет в том, что информированное согласие на деле таковым не является. Полученное единожды, оно выступает защитной грамотой для одних и угрозой для других. Иначе никто бы не смог объяснить согласие человека на тотальный контроль за своей жизнью, даже тогда, когда респондент в своих ответах отклоняется от социально одобряемого поведения.
У компании OMI есть специальные подпанели. Мы активно пользуемся той, где человек дает согласие писать экран своего устройства. Что человек видит в конкретный момент на экране — пишется. Панель небольшая, тысяч тридцать, но нам очень помогает понять, как человек приходит на наш сайт, как пользуется услугами, на что смотрит. Только первое время человек помнит, что его отслеживают. Потом забывает — и понеслось. Разве упомнишь, какую
Sociology of Power Vol. 30
№ 3 (2018)
кнопку нажал и какое согласие дал несколько месяцев назад? Например, обязательно у процентов тридцати в совокупности должен быть эротический контент, иначе — сигнал к тому, чтобы набирать другую группу участников. Много нового узнаешь, в том числе и о себе.
Юридическая фактография — это переописание повседневных отношений на языке законодательных и подзаконных актов, придание регулярному наблюдению за другими легального статуса, защищающего от каких-либо претензий и недоуменных взглядов. Научное исследование должно проводиться в легальном поле, но в рамках юридической фактографии кроме юридического языка описания ничего не остается. Научный аргумент полностью подчиняется норме закона и текущим настроениям законодателей, а проверка гипотез уступает место проверке соответствия действий по сбору, обработке и хранению информации в соответствии с текущим правовым порядком.
46
Фальсификации ответов
Сила слабых в иронии: панелисты реализуют этот принцип как нельзя лучше. Если нельзя защитить приватность, можно обесценить публичное присутствие, трансформировав обыденность в карнавал. Игра, шутки, лукавство, насмешки и обман куда лучше защищают персональные данные, нежели любые подписанные соглашения. Участники панели — профессиональные респонденты — на деле воспроизводят все возможные приемы фальсификаций и фабрикаций, наблюдаемые в традиционных опросах у профессиональных полевых интервьюеров.
Оплата прямая или символическая, отраженная в деньгах или рейтингах, напрямую связана с полностью заполненными анкетами. Участие в панели — это ответы. Для возможности их давать, следует пройти скрининг, попасть в целевую группу опроса. Задача несложная, особенно если группа определяется не социально-демографическими, а поведенческими параметрами.
В панелях либо зарабатывают, либо играются, пока не надоест. Потому много фейковых заполнений. Ну хочется респонденту порезвиться, — и придумывает всякую всячину. Хорошо, если в выбросы со своими ответами попадет, а если подстроится под кого, — сместит данные, и даже не заметишь. Придумали скрининговые вопросы с липовыми закрытиями. Предлагают несколько вариантов, если панелист выбирает несуществующий, значит, влип: «Всего доброго, поговорим в следующий раз». По началу хорошо прием работал, но теперь подстроились, обучились, а новое трудно придумать. Увы, в этой игре панелисты опережают исследователей. Какое-то время еще держится прием в секрете, но не долго. Отсев фейковых анкет в панелях — сложная, практически неразрешимая задача.
Социология власти Том 30 № 3 (2018)
Организатор панели или заказчик исследования (что всегда менее продуктивно) вступает в игру по обнаружению речевых фигур иронии и обмана. Поскольку ожидание подвоха — обоюдная установка участников анкетирования, всю вопрос-ответную коммуникацию начинает пронизывать недоверие.
К наличию скрининга панелисты привыкли. Ждут, подстраиваются. Потому теперь в начале задаешь парочку незначимых вопросов, пусть на них что угодно пишут. И получается, например, за неделю 60% за границу ездили, 40% машины новые купили. Мы во весь экран: «Большое спасибо, вы прошли отборочные вопросы». Они выдохнули, расслабились, начали отвечать. Вот тут мы со своим скрином и приходим. Получается, что порой на отбор целевой группы половина анкеты уходит. Но мне не жалко. Если вопросы важные, то можно только один-два задать по существу, остальные пусть тестируют качество выборки. Основная ошибка в панелях — это ошибка отбора, которая в свою очередь инициирует ошибки заполнения.
Неважности вопросов соответствует несерьезность ответов. Типичное поведение отвечающего панелиста — невнимательность, механистичность, установка «попробовать, а потом посмотрим, что будет». В игровом контексте подобное поведение поддерживается возможностью многократно подходить к одному и тому же заданию. В опросах многократное заполнение анкеты запрещено, но никто не запрещает заполнять в режиме отстраненного участия разные анкеты. Иллюстрацией невнимательности панелистов может служить эксперимент Леонарда Пааса и Мейке Моррен, которые сопроводили вопрос инструкцией о том, что вопрос нужно пропустить, если респондент прочитал(-а) инструкцию. Одна треть участников опроса продолжала отвечать на вопрос независимо от инструкции [Paas, Morren, 2018]. При внедрении дополнительных графических элементов число ответивших снизилось до одной пятой, но и эта величина слишком велика, чтобы говорить об ответственном заполнении анкеты.
Коммуникация, основанная на недоверии, неминуемо приводит к сокращению числа участников и сжатию возможного дискурсивного пространства участия, или пространства смыслов для ведения публичного разговора. Безусловно, ситуация типична для всей опросной индустрии, но то, что происходит в онлайн-исследовани-ях, определяет основные тренды на ближайшие годы.
Дела с опросами обстоят не очень. Люди с меньшей охотой принимают участие, в целом смотрят на возможность отвечать на чужие для себя вопросы с недоверием, если не сказать с пренебрежением. Как только панели появились, до 70% заходивших на сайт регистрировались, становились участниками панели. Сейчас от силы 2-3% зарегистрированных. Это просто несопоставимые величины. Среди молодежи, основной аудитории интернета, вовсе очень мало
SOCЮLOGY OF POWER
VOL. 30 № 3 (2018)
47
желающих отвечать на вопросы. Получать деньги за часы, проведенные у экрана, с перебором вариантов ответа — это как-то не вписывается в их представление о нужном и важном. Возможность задавать вопросы постоянно снижается, все чаще приходится задумываться о внеопросных технологиях получения информации.
Фальсификация ответов — наиболее типичная характеристика он-лайн-панелей как в своем проявлении, так и в тщательном сокрытии. Фальсификации — это предмет раздражения и уныния всех причастных к развитию опросных методов в интернете; причастных, но забывших, что опросы — это прежде всего научное предприятие, а уже потом бизнес и средство производства добавленной стоимости.
48
Уклонение от ошибок
Игнорирование, локализация и сокрытие ошибок —важнейшие институциональные характеристики развивающихся онлайн-пане-лей. Именно к ним сводится базовое различение между научным подходом и профанной, ориентированной на извлечение прибыли позиции. Что следует делать для оптимизации доходов от исследований? Во-первых, по возможности не замечать ошибки, утверждать, что наличие ошибок требует доказательств. Во-вторых, если ошибка стала заметной, локализовать и не допустить распространения сведений о ней внутри и вовне компании. В-третьих, если информация начала просачиваться наружу, предпринять попытки сокрытия и фальсификации данных.
Ошибка в научном исследовании — это отправная точка для проверки гипотез, разработки экспериментальных планов и накопления знания. С точки зрения теории общей ошибки исследования, следует проводить методические замеры любых исследовательских начинаний [Total survey error in practice, 2017], включая обследования в интернет-среде [Couper, 2000]. В поле прикладных онлайн-исследо-ваний, напротив, ошибки воспринимаются как недостатки, дискредитирующие отрасль. С одной стороны, публичные дискуссии и научные публикации, затрагивающие онлайн-панели, перенасыщены свидетельствами об «исключительно рациональном» поведении респондентов, направленном на минимизацию затрат и максимизацию дохода [Ривелла, Очоа, Турбина, 2016, с. 134-135], сопровождаемом недобросовестностью и обманом профессиональных респондентов. С другой — ни одна из организаций-держателей панелей не допускает каких-либо упоминаний об ошибках, сбоях и смещениях в текущих проектах. Для них ошибка — это недоразумение, препятствие для заключения контрактов, удар по имиджу и репутации.
Социология власти Том 30
№ 3 (2018)
Вопреки общему признанию эффективности геймификации в он-лайн-исследованиях [Адаму, Беркс, 2016, с. 267-268], участие в опт-ин панелях среди российских экспертов по-прежнему объясняется через традиционные для массовых опросов конструкции. В качестве основных мотивов для участия в панели приводятся помощь другим, содействие в развитии научных исследований, поддержка общественных интересов или просто желание высказать свое мнение.
На это и направлена как минимум декларативная работа держателей панелей: формирование чувства сопричастности, значимости, ответственности, доверия, общих ценностей [Martinsson, Dumitrescu, Riedel, 2017, p. 340]. Другими словами, конструируется образ благородного, альтруистичного панелиста.
Основная работа в онлайн-панелях — это формирование мотивации к опросам. Что только для этого не делается, какой только активный менеджмент не организуется. Новостные письма, призы, конкурсы: на лучшее видео, лучшее фото, лучшую новогоднюю елочку. Люди должны чувствовать, что они часть какого-то сообщества. Это не просто циничное заполнение анкеты за какой-то бонус. Это экспертное общение, а сами ответы — экспертиза очень важных и серьезных задач. Люди помогают брендам, на их мнение ориентируются крупнейшие компании. Хочется верить в правильную мотивацию. 49 Только она дает возможность собрать реальные инсайты, уберечь заказчика от ошибочных решений. Иначе все девальвируется. Нет общих, разделяемых ценностей — нет результата от опроса.
У исследователей мотивации участников панелей складывается иная картина. На первый план выходит желание получить вознаграждение, денежное или в форме ценных призов, участия в лотерее или конкурсе. На второй — самопрезентация, или возможность высказать свою точку зрения. На третий — развлечение, получение удовольствия от игровой ситуации. На четвертый — потребность в социальных сопоставлениях, возможность сравнить свое мнение с мнением других. На пятый — конвенциональность, или простота и необязательность участия в панели [Brick, Frankel, Dillman, Groves, et al., 2010, p. 720]. Ни в одном из приведенных мотивов не просматривается пафос экспертного участия, преподносимый российскими держателями панелей в качестве довода в пользу качества их инструмента. По всей видимости, «на деле» мотивы панели-стов всегда смешены, сочетают как альтруистические устремления, так и прагматику обогащения [Poynter, Comley, 2003; Comley, 2005; Keusch, 2015; Martinsson, Dumitrescu, Riedel, 2017].
Социально одобряемые представления о «правильной» мотивации имеют оборотную сторону. За благородными, высокоморальными рассуждениями зачастую скрывается все то же неприятие ошибок, недочетов и смещений. Отклонение от нормативного поведения под-
Sociology of Power Vol. 30
№ 3 (2018)
лежит наказанию, исключению из рассмотрения. Так за позицией держателя панели, основанной на механике затемнения, просматривается установка на правовое переописание действительности. В этой перспективе ошибка есть преступление, у добропорядочных граждан порождающая чувство вины, а от надзорных органов требующая исполнения наказания. Иными словами, исправление ошибки производится через карательную процедуру, адекватную причиненному недобросовестностью или обманом урону.
Переопределение научного факта через юридический создает особый публичный дискурс, сопровождающий и поддерживающий легитимность онлайн-панелей, где чувство недоверия ко всем участникам панели выражается постоянно и устойчиво. Пока одни сетуют на нечестных респондентов, другие критикуют слишком предприимчивых организаторов.
Критика онлайн-панелей как метода в реальности относится не к методу, а к его продавцам. Ответы на вопросы одной анкеты — всегда неполные данные, подверженные ситуативным влияниям. Но панелисты отвечают на сотни, тысячи вопросов — раз, многие заполняют персональную анкету — два, о некоторых известна их история в сети — три. Перед нами огромное 50 разнообразие данных. Даже не ведя речь о содержании ответов, чтобы не за-
ходить за границы информации, ограниченной в доступе человеком или авторами вопросов, всегда можно оценить надежность ответов, сопоставить их, выявить противоречия. Наличие в панели фриков, читеров, фабрикаторов — это попустительство, разгильдяйство, безграмотность или жажда наживы владельцев панели, а не проблема метода.
На деле и «читеры», и держатели панелей коррумпируют процедуры онлайн-опросов, поддерживая институт сокрытия ошибок. Не важно — недомыслием или злонамеренностью — продиктовано затемнение данных; фабрика работает независимо от мотивации ее работников. Куда существеннее разделяемое всеми чувство невозможности открыто описывать текущую ситуацию, которое оправдывается различными доводами в пользу неуместности публичных методических дискуссий.
Заключение
Вернемся к нашей воображаемой фабрике для производства самой правдивой правды. Вы вышли из проходной, крутите в руках сертификат наблюдателя производственного процесса, — и привыкаете к мысли, что можно знать не зная, что черные ящики сопровождают нашу жизнь, и незнание — неотъемлемая черта современных технологий. Так воспроизводится самая устойчивая мифология современности— сложный, непостижимый для неподготовлен-
Социология власти Том 30 № 3 (2018)
ного человека технический мир нового знания. Однако его сложность может поддерживаться лишь в тени. Соглашаясь игнорировать и не обращать внимание, мы поддерживаем развитие фабрик темных ответов во всех областях и сферах хозяйствования. Опросы общественного мнения и их частный случай, опт-ин онлайн-пане-ли, — не исключение.
Зададимся еще раз вопросом, как функционируют онлайн-фаб-рики «темных» ответов?
Во-первых, по мере того, как фиксируется механика затемнения, в общественном дискурсе распространяется представление о необходимости сокрытия информации или, напротив, незначимости технических, сопутствующих производству процессов.
Во-вторых, методический язык описания трансформируется в юридический. Норма определяется не как элемент наблюдения за отклонениями, а как необходимое состояние жизнедеятельности. Отсюда любые сбои и смещения интерпретируются в терминах вины и наказаний, а не корректировки спроектированных измерительных механизмов. Мир юридического факта самореферентен. Он не нуждается в согласовании с реальностью, скорее реальность должна быть согласована с юридической нормой. 51
В-третьих, практики фальсификации и фабрикации порождают необходимость предоставить нужную информацию в установленные сроки и за назначенное вознаграждение. Подлог формируется не столько по причине злого умысла или человеческой природой человека, сколько определяется институциональной средой, требующей игнорировать ошибки и сбои, возникающие в ходе опроса. Ответ непременно будет изменен, смыслы трансформированы, если формирование ответа и придание высказыванию смысла полагаются избыточными и незначимыми в процессе производства общественного мнения. Фальсификация — это оборотная сторона целенаправленного затемнения технологии и главенства юридической нормы над технологической.
Наконец, в-четвертых, фабрики темных ответов опираются на реификацию запрета на само совершение ошибок. Но если наука строится на критике и опровержении, то такая позиция со всей уверенностью может быть названа антинаучной, подрывающей основы познания мира. Удивительно не то, что практика запрета на наблюдение и разбор ошибок столь широко распространена, а то, что она преподносится в качестве охранительной грамоты для успешного развития бизнеса и становления индустрии онлайн-опросов.
Чтобы не видеть мир в темных тонах, достаточно включить свет, т. е. конструктивно переосмыслить отношение к сбоям и ошибкам, посредством которых только и возможно познание в мире цифровых технологий.
Sociology of Power Vol. 30
№ 3 (2018)
52
Библиография
Адаму Б., Беркс Д. (2016) Использование исследовательских игр вместо гейми-фицированных опросов. Влияние метода исследовательских игры на вовлеченность респондентов и вероятность их будущего участия в подобных проектах. Онлайн исследования в России: тенденции и перспективы. Под ред. А.В. Шашкина, И.Ф. Девятко, С.Г. Давыдова. М.: Изд-во МИК: 267-322.
Ревилла М., Очоа К., Турбина А. (2016) Новое поколение онлайн-анкет? Использование преимуществ интерактивного интернета. Онлайн исследования в России: тенденции и перспективы. Под ред. А.В. Шашкина, И.Ф. Девятко, С.Г. Давыдова. М.: Изд-во МИК: 133-160.
Brick J.M., Frankel M.R., Dillman D.A., Groves R., et al. (2010) Research synthesis AAPOR report on online panels. Public Opinion Quarterly. 74(4): 711-781. Comley P. (2005) Understanding the online panelist / Worldwide panel research: Development and progress. Amsterdam: ESOMAR.
Couper M.P. (2017) New developments in survey data collection. Annual Review of Sociology. 43: 121-145.
Couper M.P. (2000) Web surveys: A review of issues and approaches. Public Opinion Quarterly. 64(4): 464-494.
Keusch F. (2015) Why do people participate in web surveys? Applying survey participation theory to Internet survey data collection. Management Review Quarterly. 65: 183-216.
Martinsson, J., Dumitrescu D., Riedel K. (2017) Recruiting an online panel from another online survey: Consequences of framing and placement of the recruitment question. International Journal of Public Opinion Research. 29(2): 339-351. Paas L.J., Morren M. (2018) Please do not answer if you are reading this: Respondent attention in online panels. Marketing Letters. 29(1): 13-21.
Poynter R., Comley P. (2003) Beyond online panels. Proceeding of the ESOMAR Technovate Conference. Amsterdam: ESOMAR, 2003.
Revilla M. (2017) Analyzing survey characteristics, participation, and evaluation across 186 surveys in an online opt-in panel in Spain. Methods Data Analysis. 11(2): 135-162. Sarstedt M., Bengart P., Shaltoni A.M. et al. (2018) The use of sampling methods in advertising research: A gap between theory and practice. International Journal of Advertising. 39(4): 650-663.
Total survey error in practice (2017) Ed. by P. P. Biemer, E. de Leeuw, S. Eckman, B. Edwards, F. Kreuter, L. E. Lyberg, N. C. Tucker, B. T. West. New York: Wiley.
References
Adamu B., Berks D. (2016) Ispol'zovanie issledovatel'skih igr vmesto gejmificirovannyh oprosov. Vliyanie metoda issledovatel'skih igry na vovlechennost' respondentov i veroyatnost' ih budushchego uchastiya v podobnyh proektah [Using research games instead of gamified surveys. The influence of the method of research games on the
Социология власти Том 30
№ 3 (2018)
involvement of respondents and the likelihood of their future participation in such projects]. Onlajn issledovaniya v Rossii: tendencii i perspektivy [Online Research in Russia: Trends and Prospects]. Pod red. A.V. SHashkina, I.F. Devyatko, S.G. Davydova. M.: Izd-vo MIK: 267-322.
Brick J.M., Frankel M.R., Dillman D.A., Groves R., et al. (2010) Research synthesis AAPOR report on online panels. Public Opinion Quarterly. 74(4): 711-781. Comley P. (2005) Understanding the online panelist /Worldwide panel research: Development and progress. Amsterdam: ESOMAR.
Couper M.P. (2000) Web surveys: A review of issues and approaches. Public Opinion Quarterly. 64(4): 464-494.
Couper M.P. (2017) New developments in survey data collection. Annual Review of Sociology. 43: 121-145.
Keusch F. (2015) Why do people participate in web surveys? Applying survey participation theory to Internet survey data collection. Management Review Quarterly. 65: 183-216.
Martinsson, J., Dumitrescu D., Riedel K. (2017) Recruiting an online panel from another online survey: Consequences of framing and placement of the recruitment question. International Journal of Public Opinion Research. 29(2): 339-351. Paas L.J., Morren M. (2018) Please do not answer if you are reading this: Respondent attention in online panels. Marketing Letters. 29(1): 13-21.
Poynter R., Comley P. (2003) Beyond online panels. Proceeding of the ESOMAR Technovate Conference. Amsterdam: ESOMAR, 2003.
Revilla M., Ochoa K., Turbina A. (2016) Novoe pokolenie onlajn-anket? Ispol'zovanie preimushchestv interaktivnogo internet [The new generation of online profiles? Using the benefits of the interactive Internet]. Onlajn issledovaniya v Rossii: tendencii i perspektivy [Online Research in Russia: Trends and Prospects]. Pod red. A.V. SHashkina, I.F. Devyatko, S.G. Davydova. M.: Izd-vo MIK: 133-160.
Revilla M. (2017) Analyzing survey characteristics, participation, and evaluation across 186 surveys in an online opt-in panel in Spain. Methods Data Analysis. 11(2): 135-162. Sarstedt M., Bengart P., Shaltoni A.M. et al. (2018) The use of sampling methods in advertising research: A gap between theory and practice. International Journal of Advertising. 39(4): 650-663.
Total survey error in practice (2017) Ed. by P. P. Biemer, E. de Leeuw, S. Eckman, B. Edwards, F. Kreuter, L. E. Lyberg, N. C. Tucker, B. T. West. New York: Wiley.
Рекомендация для цитирования / For citations:
Рогозин Д.М. (2018) Фабрики «темных» ответов, или четыре негативных свойства современных опт-ин онлайн-панелей. Социология власти, 30 (3): 38-53. Rogozin D.M. (2018) "Dark Answer" Factories or Four Negative Features of Modern Opt-in Online Panels. Sociology of Power, 30 (3): 38-53.
53
Поступила в редакцию: 3.09.2018; принята в печать: 19.09.2018
Sociology of Power Vol. 30
№ 3 (2018)
