CC BY
9DOI: 10.35854/2219-6242-2020-3-25-33
УДК 316:004.77
Бабич Н. С., Батыков И. В.
Интернет-опросы общественного мнения как инструмент сбора данных для принятия правовых решений: анализ контекста и оснований использования
Babich N. S., Batykou I. V. Internet Public Opinion Surveys as a Data Collecting Tool for Making Legal Decisions: Analysis of the Context and Reasons for Using
Статья посвящена обоснованию надежности такого инструмента сбора данных, как Интернет-опросы. Последовательно изложены аргументы за и против использования он-лайн-опросов. В научном сообществе аргумент против нередко выдвигается с учетом идеальных стандартов проведения исследования, зачастую неосуществимых, даже в апробированных методах сбора данных {переписи, телефонных опросах и др.). Исходя из этого, в настоящей стать« каждый аргумент против помещается в сравнительную плоскость. Путем рассмотрения обвинений интернет-опросов в недостаточной репрезентативности, смещении выборки и при прочих недостатках совместно с аналогичными аргументами против признанных методик сбора данных выявляется недостаточная теоретическая и методическая фундированностъ указанных обвинений. Неактуальность аргумента против также выявляется с помощью анализа глобальных и российских тенденций распространения интернета и компьютерной грамотности. Аргументы за изложены в статье с целью показать особенности генерализации выводов, которые получены с помощью онлайн-опросов и с учетом специфики этого вида сбора данных. Представленные авторами доказательства валидности данных, получаемых в рамках онлайн-опросов, являются подтверждением возможности их использования, в том числе для принятия правовых и государственно-управленческих решений при условии учета специфики получаемых данных.
The article is dedicated to finding reasons for the reliability of such, a data collection tool as Internet surveys. The article consistently presents the arguments "pro" and "contra" using online surveys. In the scientific community, "contra" arguments are often put forward considering ideal research standards, which are often not feasible even in proven methods of data collection, such as censuses, phone surveys, etc. Based on this, in the article each argument "contra" is placed into the comparative plane — by examining the Internet surveys' accusations of insufficient representativeness, sampling bias, and other disadvantages along with similar arguments against accepted methods of data collection, the lack of theoretical and methodological foundation of these charges is revealed. The irrelevance of "contra" arguments is also shown by analyzing global and Russian trends in the spread of the Internet and computer literacy. The "pro" arguments presented in the article are intended to demonstrate the features of generalization of findings obtained using online surveys, considering the specifics of this type of data collection. The evidence presented in the article for the validity of data obtained in online surveys confirms the possibility of using them in particular for making legal and public management decisions, provided that the specifics of the obtained data are taken into account.
Бабич Николай Сергеевич — старший научный сотрудник Федерального научно-исследовательского социологического центра РАН, доцент кафедры социологии Российского университета дружбы народов, кандидат социологических наук.
Батыков Иван Владимирович — заведующий лабораторией социологической экспертизы Федерального научно-исследовательского социологического центра РАН, кандидат социологических наук.
© Бабич Н. С., Батыков И. В., 2020
Ключевые слова-, он л айн-опрос, валидность данных, результативность опросов, неслучайная выборка, статистическая погрешность, репрезентативность, генерализация выводов.
Контактные данные: 117218, Москва, ул. Кржижановского, д. 24/35, корп. 5; (915) 237-91-75, (495) 662-97-95; e-mail: sociolog@mail.ru, ivbatykav@socecxpertiza.rii.
Keywords: online survey, data validity, survey efficiency, non-random sample, statistical error, representativeness, generalization.
Contact Details: 24/35, Bid. 5, Krzhizha-novsky Str., Moscow, 117218, Russia; (915) 237-91-75, (495) 662-97-95; e-mail: soci-olog@mail. rn, ivbatykov@socexpertiza .ru.
Постановка задачи
Онлайн-опросы вошли в практику сбора статистической информации с развитием интернета и уже много лет используются в исследованиях рынка и общественного мнения. Первые упоминания онлайн-опросов относятся как минимум к началу 90-х гг. XX в. [1]. К 2010 г. в развитых странах, таких как Япония, Германия и США, более трети массовых опросов проводились с использованием инт ер нет-технологий [2, р. 5; 3, р. 1; 4, р. 569]. Главы, посвященные интернет-опросам, были включены в такие авторитетные обобщающие издания, как "International Handbook of Survey Methodology" [5, p. 264-284], "The SAGE Handbook of Public Opinion Research" [6, p. 271-283], "Handbook of Survey Research" [7, p. 527—550], "Handbook of Survey Methodology for the Social Sciences" [8, p. 313—360]. К 2016 г. в США 73 % исследующих общественное мнение организаций проводили онлайн-опросы, а для 19 % это был основной способ сбора количественных данных [9, р. 862].
Б последние годы интернет-опросы получили широкое распространение и в российских исследованиях, в том числе таких, результаты которых стали класть в основу правовых и государствен но-у правленческих решений. Например, Федеральная антимонопольная служба (ФАС) России указывает, что по вопросам оценки содержания рекламы проведение анкетирования возможно осуществить путем размещения информации о спорной рекламе и опросного листа на сайте антимонопольного органа. При этом, по мнению специалистов ФАС России, Интернет-опросы могут быть представлены суду в качестве надлежащих доказательств негативного восприятия рекламы жителями какой-либо территориальной единицы [10]. Данные интернет-опросов используются для формирования статистических показателей расчета результативности внедрения механизмов открытости федеральных органов исполнительной власти [11] и для оценки эффективности исполнительной власти [12]. Сбор информации методом интернет-опроса предусмотрен и в методологии федеральных статистических наблюдений (например, микроперепись 2015 г.) [13]. Интернет-опросы в течение ряда лет принимаются в качестве доказательств арбитражными судами (дела № А32-17481/2011, № А45-19526/2011, № А60-19820/2011, № А46-6175/2011, № А40-32360/12, № СИП-562/2014, № А21-298/2016).
Проблема, однако, состоит в том, что ранее на протяжении многих лет интернет-опросы считались недостаточно подходящими для использования в качестве источников репрезентативных данных, дающими неполноценную либо ненадежную информацию. Их повсеместное распространение в настоящее время обусловливает высокую важность и актуальность рассмотрения этих опасений. Ведь если они остаются справедливыми и сегодня, то оказывается под угрозой обоснованность очень большого числа принятых, а главное — будущих правовых и государственно-управленческих решений.
Настоящая статья посвящена рассмотрению вопроса о том, насколько надежный инструмент сбора данных для принятия правовых решений в современной России представляют собой интернет-опросы. Для ответа на него сначала рассматриваются аргументы в пользу и против их надежности, а затем конкретная практика применения интернет-опросов.
Приемлемость или неприемлемость интернет-опросов с точки зрения теоретико-методологических и методических требований может быть определена на основе сравнительного анализа плюсов и минусов соответствующего метода сбора данных. Начнем с рассмотрения основных упоминаемых в литературе минусов интернет-опросов, проанализируем их общую обоснованность и актуальность в современном российском контексте, затем рассмотрим плюсы и в заключение попытаемся сравнить совокупный «вес» отрицательных и положительных сторон интернет-опросов.
1. Аргументы против
Рассмотрим, насколько приводимые в литературе аргументы против использования интернет-опросов валидны и, если валидны, то насколько они сохраняют свою актуальность в современной России.
1. Неравная вероятность онлайн-доступа детерминирует различия между такими генеральными совокупностями, как «население страны» и «пользователи интернета» [14, р. 467].
Развитие информационного общества в России привело к сильному ослаблению, если не полному исчезновению этого препятствия. Доступ российских до-мохозяйств к сети Интернет в 2018 г. составил 76,6 % (в том числе широкополосный доступ — 73,2 %) [15, с. 386]. Среди организаций интернет использовали 88,9 % [15, с. 378]. Конечно, все еще нельзя говорить о полном покрытии населения. Но сравнивать уровень доступа следует не с идеальными 100 %, а с уровнями доступа к населению, обеспечиваемому другими методами сбора данных. Личный контакт также не обеспечивает полного покрытия, даже в случае самых масштабных обследований.
Так, при переписи населения 2010 г. миллион человек отказались участвовать, а 2,6 млн человек переписчики не застали дома за период проведения переписи. Из участвовавших не указали уровень образования 3,5 млн человек, источники средств к существованию — 4,0 млн человек, экономическую активность — 4,6 млн человек [16]. Иными словами, полные данные о более чем 5 % населения не удалось собрать при организации сплошного опроса во всех регионах и населенных пунктах страны. Если же речь идет о личном интервью, например, на обычной для всероссийских опросов выборке в 1 500 человек, то очевидно, что отправить интервьюеров более чем в 1 500 населенных пунктов нет физической возможности (в реальности населенных пунктов, в которых проводится опрос, гораздо меньше, так как в каждом из них интервьюируется более одного человека). Б России насчитывается свыше 150 тыс. населенных пунктов [17, с. 19]. Таким образом, при проведении всероссийского опроса оказываются покрыты не более 1 % из них. Теоретически более высокий уровень покрытия может быть у телефонных интервью, поскольку телефонами, стационарными или мобильными, в наше время пользуются почти все среди населения. Однако статистика результативности там, где она ведется, показывает, что не отвечают на звонки опросных организаций от 30 % стационарных до более чем 40 % мобильных номеров [18, р. 5]. Иными словами, реальный возможный доступ к населению в других методах сбора данных либо сопоставим с уровнем возможного доступа интернет-опро-
сов, либо оказывается даже ниже. Первое возражение следует признать полностью утратившим силу в современной России.
2. Распределение населения по единицам отбора в интернете неизвестно и не может быть аналитически восстановлено, в отличие, например, от географического распределения населения [19, р. 181].
Потеря актуальности второго возражения связана с теми же факторами. Действительно, только если уровень доступа метода сбора данных к населению очень высок, то оказывается возможным приравнять генеральную совокупность населения к генеральной совокупности, обеспечиваемой указанным доступом. В таком случае структура населения может быть аналитически воспроизведена на этой доступной генеральной совокупности. Другими словами, если интернет покрывает практически всю территорию страны и большинство населения, то и географическая структура населения может учитываться в интернет-опросах.
3. Неравное распределение компьютерной грамотности влияет как на представленность различных групп в интернет-опросах, так и на их ответы [20].
Участие в интернет-опросах можно принимать с использованием двух разных технологий: персональных компьютеров и мобильных устройств. По состоянию на 2018 г. в России на 100 домохозяйств приходилось 125 персональных компьютеров и 248 мобильных телефонов [15, с. 130]. Таким образом, распределение компьютерных технологий среди населения, как и в случае с доступом, создает для интернет-о просо в гораздо лучшие условия, чем существуют для традиционных опросов «лицом-к-лицу».
Конечно, распределение компьютерной грамотности и доступа к интернету может все еще быть неравномерным среди различных возрастов, но возрастные группы демонстрируют и множество других различий в поведении, которые существенно влияют на участие в телефонных и личных интервью [21; 22]. Из этого следует, что неравное распределение компьютерной грамотности и доступа к интернету является не принципиальным недостатком онлайн-опросов, а лишь одной из особенностей, которыми обладают все методы сбора данных, т. е. особенностью, которая должна учитываться при проектировании исследования и анализе информации, но со временем все более исчезает и влияние ее ослабляется.
4. Доля отказов от участия в интернет-опросах выше, чем в других способах сбора социологических данных (в среднем на 11 % [23]), что может увеличивать статистическую погрешность.
Будучи формально верным с математической точки зрения, это утверждение совершенно игнорирует содержательный контекст производимого сравнения, а именно — какая погрешность и насколько увеличивается. Как следует из формул определения ошибки выборки, прирост максимальной теоретической погрешности с увеличением доли недоступных респондентов составляет в грубом приближении половину этой доли [24, с. 381]. Прирост 11 % недоступных респондентов в он-лайн-опросах по сравнению с другими методами дает рост статистической погрешности примерно на 5 %. Но к какой существующей ошибке прибавляется эта величина? Как свидетельствует статистика, которая наблюдается в развитых странах, доля недоступных для опроса респондентов в личных интервью может достигать 40 % [25, р. 195], а в телефонных — превышать 90 % [18, р. 3]. Это означает, что дополнительная погрешность в 5 % добавляется к уже существующей добавочной ошибке выборки, варьирующей от 20 % до 45 %. Очевидно, что в таком контексте добавочная погрешность интернет-опросов оказывается незначительной. Более того, если исходить из формального математического подхода, то все проводимые в настоящее время опросы оказываются неудовлетворитель-
ными с точки зрения точности получаемых данных. Правда, содержательный анализ влияния неответов на погрешность показывает, что она не настолько велика [26]. Но в таком случае и немного более низкий уровень кооперации респондентов в интернет-опросах не является существенным недостатком.
5. Отсутствие посреднических процедур отбора (наподобие тех, которые применяются интервьюерами) и прямой контакт с респондентами приводят к тому, что выборки интернет-опросов формируются самоотбором [27].
Это препятствие не необходимо связано с проведением интернет-опросов. При определенных обстоятельствах их выборки могут формироваться с помощью предварительного рекрутирования [28] или даже с использованием территориальных моделей основы выборки [29]. Но в большинстве случаев, действительно, попадание респондентов в интернет-опросы осуществляется через самоотбор, что следует признать нежелательным явлением с точки зрения репрезентативности выборки. К счастью, как и в случае с уровнем отказов, содержательный анализ формального недостатка вскрывает его незначительность в сравнительном контексте. Как выглядит идеальный опрос, не включающий элементы самоотбора? С помощью вероятностных алгоритмов (например, генератора случайных чисел) из полной и достоверной основы выборки (например, списка всех жителей определенной территории) составляется список респондентов, которые в полном составе принимают участие в исследовании. Это та идеальная картина, с которой часто мысленно сравнивается несовершенный самоотбор. Однако на практике эта идеальная картина совершенно недостижима, поскольку уровень недоступности респондентов в других форматах опросов может достигать 90 %.
Что же происходит, если отобранные вероятностными методами кандидаты не соглашаются участвовать в опросе или просто оказываются недостижимы? Отбирающий их посредник (например, интервьюер) производит замену кандидатов и обращается к следующим отобранным алгоритмом потенциальным респондентам до тех пор, пока кто-нибудь из них не согласится на участие. Иначе говоря, до тех пор, пока респонденты не пройдут самоотбор. Следовательно, с учетом общих высоких уровней недоступных единиц выборки, все проводимые в настоящее время опросы, а не только онлайн-опросы, должны рассматриваться как основанные на самоотборе. Можно много дискутировать по поводу того, насколько в разных случаях велика дополнительная погрешность, привносимая самоотбором. Но эффекты самоотбора напрямую связаны с уровнями отказов и недоступности респондентов. К этой дополнительной погрешности применима та же логика, что была рассмотрена в пункте 4: немного более высокий уровень самоотбора респондентов в интернет-опросах не является существенным недостатком.
6. Высокая степень анонимности в интернете делает затруднительной как проверку личности респондентов, так и проверку их социально-демографических характеристик, что может приводить к неискренним ответам [30].
Будучи совершенно справедливым, это замечание, как и предыдущие, теряет свой критический заряд при помещении в сравнительный контекст. В самом деле, какие средства для проверки личности и достоверности ответов респондентов имеются в распоряжении исследователей в телефонных или личных интервью? Практически все эти средства сводятся к контролю содержания ответов, который доступен и при интернет-о просе. В остальном исследователи вынуждены принимать на веру слова респондентов. Проверка факта проведения опроса в условиях надомных личных интервью — весьма сложная методическая задача [31]. При проведении интернет-опросов с развитием и распространением технологий открываются и новые перспективы подтверждения личности, такие как проверка
через банковские операции и т. п. Иными словами, этот недостаток, общий для всех опросов, в онлайн-исследованиях имеет тенденцию к исчезновению.
7. Практика использования онлайн-панелей в интернет-опрос ах формирует * профессиональных респондентов», ответы которых могут отличаться от ответов остального населения [32].
Этот недостаток, общий для всех панелей, в том числе проводимых методами личного интервью [33, р. 120-131], действительно, создает некоторую дополнительную статистическую погрешность в данных. Но эта погрешность является результатом огромного преимущества, ради которого традиционно проводились дорогостоящие панельные исследования: возможности длительного и стабильного наблюдения за респондентами. Эта возможность, в том числе, повышает надежность данных, поскольку позволяет валидировать их в ходе длительного сотрудничества с респондентом. Простейший способ такой валидации — повторные опросы и отдельные контрольные вопросы, которые выявляют «путающихся в показаниях» участников панели. Следовательно, формирование «профессиональных респондентов» может рассматриваться не только и не столько как недостаток интернет-панелей, сколько как их преимущество, ведь «профессиональных» респондентов можно описать и как «проверенных, валидированных, детально описанных и исследованных» респондентов.
2. Аргументы за
1. Наиболее общий теорет и ко-методологический аргумент в пользу интернет-опросов может быть найден при расширенном взгляде на понятие репрезентативности. Существует как минимум два базовых подхода к генерализации выводов по неслучайным выборкам, к которым преимущественно относятся интернет-опросы:
а) игнорирование их «нерепрезентативности», которое может быть основано на:
а1) низкой дисперсии исследуемого признака (например, признаки, связанные
с особенностями физиологии человека, такие как общие закономерности восприятия и переработки информации, по определению должны слабо меняться в зависимости от социальных факторов, таких как национальность или классовая принадлежность);
а2) недескриптивном характере выводов (например, в исследовании с экспериментальным дизайном получается вывод о том, что хуже оплачиваемая монотонная работа в результате когнитивного диссонанса кажется более интересной; если этот вывод сделан даже на выборке из нескольких десятков студентов, но он все же вполне генерализуем, поскольку получен с помощью рандомизированного эксперимента и относится к базовым закономерностям человеческого поведения, которые в конечном счете не должны демонстрировать высокой дисперсии в популяции).
Таким образом, первый подход допускает генерализацию, исходя из сущности задач и эмпирического материала, и мирится с возможной формальной «нерепрезентативностью» выборки;
б) подход, ориентированный на то, что смещение выборки имеет определенное известное направление, хотя и неизвестную величину. Домоседов легче застать дома, а тех, кто любит гулять — на улице. Соответственно, если какой-то показатель рекреационной активности одинаков для уличного опроса и интернет-опроса, значит, он измерен надежно относительно возможных смещений в рекреационных предпочтениях.
Несложно заметить, что оба подхода легко применимы в условиях интернет-опросов и покрывают большую долю всех возможных задач, которые решаются в рамках социологических исследований.
2. Участники интернет-опросов могут субъективно чувствовать себя более защищенными и анонимными, что снижает риск неискренних ответов.
3. Технология интернет-опроса позволяет респонденту проходить его в любое удобное время и практически в любом удобном месте. Тем самым снижается риск получить ответы, данные в условиях экономии времени или от людей, которые в ходе опроса перестали быть в нем заинтересованы.
4. Отсутствуют ошибки ввода данных, связанные с их переносом между бумажным и электронным носителями, а также с фиксацией ответов по телефону.
5. Улучшаются возможности поведенческого моделирования (с помощью стандартных средств браузеров возможна демонстрация мультимедиа, создание разнообразных комбинаций графики и интерактивных инструментов, моделирующих ситуацию покупки, просмотра коммуникационных материалов и т. п.).
6. Исключается влияние интервьюера, которое может быть результатом как неосознанных моделей поведения, так и осознанной недобросовестности.
7. Улучшаются возможности оперативной выбраковки ответов недобросовестных респондентов (контроль неискренности и противоречий в ответах в режиме реального времени, а также на протяжении длительного времени в интернет-панелях).
8. Многократно повышается географическое проникновение опросов.
9. Значительно повышается скорость сбора данных.
10. Снижается зависимость процесса сбора данных от внешних факторов, таких как погодные условия или эпидемиологическая обстановка.
Заключение
Подводя итоги, можно констатировать, что все рассмотренные минусы интернет-опросов являются либо уже неактуальными, либо иллюзорными, возникающими только при сравнении с неосуществимыми идеальными стандартами, а не с реально применяющимися другими видами опросов. В то же время интернет-опросы обладают большим количеством плюсов, повышающих их привлекательность как с точки зрения стоимости и простоты организации исследований, так и с точки зрения качества данных. Основываясь на изложенных фактах, можно констатировать допустимость использования интернет-опросов в сборе данных для принятия правовых и государственно-управленческих решений при условии учета специфики получаемых данных, в частности, применении специальных процедур обеспечения репрезентативности и контроля идентичности респондентов.
Литература
1. Ferl Т. Е., Millsap L. Remote use of the University of California MELVYL Library System:
An online survey // Information Technology and Libraries. 1992. No. 3. P. 285-303.
2. Blasius J., Brandt M. Representativeness in online surveys through stratified samples //
Bulletin de Méthodologie Sociologique. 2010. No. 1. P. 5-21.
3. Brown E., Johnson T. P. Diffusion of Web Survey Methodology, 1995-2009 11 Survey
Research. 2011. No. 1. P. 1-3.
4. Cooke M. The New World of Web 2.0 Research // International Journal of Market Research.
2008. No. 5. P. 569-572.
5. International Handbook of Survey Methodology / ed. by E. D. de Leeuw, J. J. Hox,
D. A. Dillman. New York; London: Psychology Press, 2008. 549 p.
6. The SAGE Handbook of Public Opinion Research / ed. by W. Donsbach, M. W. Traugott.
London: Sage, 2008. 640 p.
7. Handbook of Survey Research. 2nd edition / ed. by P. V. Marsden, J. D. Wright. Bingley, UK: Emerald Group, 2010. 903 p.
8. Handbook of Survey Methodology for the Social Sciences / ed. by L. Gideon. New York: Springer, 2012. 958 p.
9. Fernandez К. E., Husser J. A., Macdonald M. G. Polling the Pollsters: A Survey of Academic Survey Organizations // Political Science & Politics. 2016. № 4. P. 859-866.
10.0 порядке проведения опросов для оценки содержания рекламы: информация Федеральной антимонопольной службы от 6 июля 2012 г. Справ.-правовая система «Кон-сультантПлюс».
11. Методика мониторинга и оценки открытости федеральных органов исполнительной власти: утв. протоколом заочного голосования Правительственной комиссии по координации деятельности открытого правительства от 26 декабря 2013 г. № АМ-П36-89пр. Приложение 2. Справ.-правовая система «КонсультантПлюс».
12.06 утверждении методических рекомендаций по внедрению системы оценки гражданами эффективности деятельности руководителей территориальных органов федеральных органов исполнительной власти (их структурных подразделений) и территориальных органов государственных внебюджетных фондов (их региональных отделений) с учетом качества предоставления государственных услуг и о признании утратившим силу приказа Минэкономразвития России от 12 марта 2018 г. № 120: приказ Минэкономразвития России от 22 марта 2019 г. № 156. С прав.-правовая система «Коесуль-тантПлюс».
13. Об Основных методологических и организационных положениях федерального статистического наблюдения «Социально-демографическое обследование (микроперепись населения) 2015 года»: приказ Росстата от 30 декабря 2013 г. № 503. Справ.-правовая система «КоесультантПлюс».
14. Couper М. Web surveys: A review of issues and approaches // Public Opinion Quarterly. 2000. No. 4. P. 464-494.
15. Россия в цифрах. 2019. Краткий статистический сборник / под ред. П. В. Малкова. М.: Росстат, 2019. 549 с.
16. Пояснительная записка Федеральной службы государственной статистики к проекту федерального закона № 00/04-18364/09-14/85-13-4 «О внесении изменений в отдельные законодательные акты Российской Федерации в части проведения Всероссийской переписи населения» от 9 сентября 2014 г. Справ.-правовая система «Гарант».
17. Социально-демографический портрет России: по итогам Всероссийской переписи населения 2010 г. / под ред. М. А. Дианова. М.: Статистика России, 2012. 183 с.
18. Dutwin Д., Lav га has P. J. Trends in Telephone Outcomes, 2008-2015 // Survey Practice. 2016. No. 2. P. 1-9.
19. Vehovar V., Manfreda K. L. Overview: online surveys // The SAGE handbook of online research methods / ed. by N. G. Fielding, R. M. Lee, G. Blank. London: Sage, 2008. P. 177-194.
20. Kwak N., Radler B. A comparison between mail and web surveys: Response pattern, respondent profile, and data quality // Journal of official statistics. 2002. No. 2. P. 257273.
21. Herzog A. R., Rodgers W. L. Age and response rates to interview sample surveys // Journal of Gerontology. 1988. No. 6. P. 200-205.
22. Herzog A. R., Rodgers W. L. Interviewing older adults: Mode comparison using data from a face-to-face survey and a telephone resurvey // Public Opinion Quarterly. 1988. No. 1. P. 84-99.
23. Manfreda K. L., Berzelak J., Vehovar V., Bosnjak M., Haas I. Web surveys versus other survey modes: A meta-analysis comparing response rates // International journal of market research. 2008. No. 1. P. 79-104.
24. Еокрен У. Методы выборочного исследования. М.: Статистика, 1976. 440 с.
25. Williams D., Brick J. М. Trends in US face-to-face household survey nonresponse and level of effort // Journal of Survey Statistics and Methodology. 2018. No. 2. P. 186-211.
26. Groves R., Peytcheva E. The Impact of Nonresponse Rates on Nonresponse Bias a Metaanalysis // Public Opinion Quarterly. 2008. No. 2. P. 167-189.
27. Bethlehem J. Selection bias in web surveys // International Statistical Review. 2010. No. 2. P. 161-188.
28. Fricker R. D. J. Sampling methods for web and e-mail surveys // The SAGE handbook of online research methods / ed. by N. G. Fielding, R. M. Lee, G. Blank. London: Sage, 2008. P. 195-216.
29. Tapia J. A., Menindez J. A. Probabilistic Web survey methodology in education centers: An example in Spanish schools // Survey Practice. 2015. No. 3. P. 1-9.
30. Schmidt W. C. World-Wide Web survey research: Benefits, potential problems, and solutions // Behavior Research Methods, Instruments, & Computers. 1997. No. 2. P. 274-279.
31. Оберемко О. А. О фальсификации, фабрикации и мистификации в методике. Рецензия на книгу Рогозина Д. М., Ипатовой А. А. Насколько разумна наша вера в результаты «бумажных» квартирных опросов? // Мониторинг общественного мнения. Экономические и социальные перемены. 2015. № 4. С. 227-236.
32. Matthijsse S. М., de Leeuw Е. D., Нох J. J. Internet panels, professional respondents, and data quality // Methodology. 2015. No. 3. P. 81-88.
33. Sudman S., Wansink B. Consumer panels. 2nd ed. Chicago: American marketing association, 2002. 233 p.
