CC BY
64
ТЕОРИЯ, МЕТОДОЛОГИЯ И МЕТОДЫ
DOI: 10.14515/monitoring.2022.3.2083
В. И. Корсунова, Б. О. Соколов
ЦЕННОСТНЫЕ УСТАНОВКИ РОССИЯН: СРАВНЕНИЕ РЕЗУЛЬТАТОВ ОНЛАЙН- И ОФЛАЙН-ОПРОСОВ
Правильная ссылка на статью:
Корсунова В. И., Соколов Б. О. Ценностные установки россиян: сравнение результатов онлайн- и офлайн-опросов//Мониторингобщественного мнения: экономические и социальные перемены. 2022. № 3. С. 4—27. https://doi.Org/10.14515/monitoring.2022.3.2083. For citation:
Korsunova V. I., Sokolov B. O. (2022) Value Orientations in Russia: Comparing Evidence from Online and Face-to-Face Surveys. Monitoring of Public Opinion: Economic and Social Changes. No. 3. P. 4-27. https://doi.org/10.14515/monitoring.2022.3.2083. (In Russ.)
ЦЕННОСТНЫЕ УСТАНОВКИ РОССИЯН: СРАВНЕНИЕ РЕЗУЛЬТАТОВ ОНЛАЙН- И ОФЛАЙН-ОПРОСОВ
КОРСУНОВА Виолетта Игоревна — кандидат социологических наук, младший научный сотрудник Лаборатории сравнительных социальных исследований им. Рональда Ф. Инглхарта, Национальный исследовательский университет «Высшая школа экономики», Санкт-Петербург, Россия E-MAIL: vikorsunova@gmail.com https://orcid.org/0000-0002-9180-5079
СОКОЛОВ Борис Олегович — кандидат политических наук, старший научный сотрудник Лаборатории сравнительных социальных исследований им. Рональда Ф. Инглхарта, Национальный исследовательский университет «Высшая школа экономики», Санкт-Петербург, Россия
E-MAIL: bssokolov@gmail.com https://orcid.org/0000-0002-5151-8147
Аннотация. Использование онлайн-опросов имеет ряд преимуществ перед традиционными интервью: они дешевле, быстрее, доступнее, а также минимизируют влияние методологических факторов, таких как эффекты интервьюера. Отсутствие последних особенно важно при проведении исследований на сенситивные темы, так как в результате снижается доля социально одобряемых ответов. В то же время он-лайн-опросы редко позволяют получить репрезентативные данные, что может приводить к ошибкам измерения и смещению содержательных оценок. В настоящем исследовании сравнивается качество данных офлайн- и онлайн-опросов в России. Для этого материалы двух онлайн-опросов («Ценности в кри-
VALUE ORIENTATIONS IN RUSSIA: COMPARING EVIDENCE FROM ONLINE AND FACE-TO-FACE SURVEYS
Violetta I. KORSUNOVA1 — Cand. Sci. (Soc.), Junior Research Fellow, Ronald F. Inglehart Laboratory for Comparative Social Research E-MAIL: vikorsunova@gmail.com https://orcid.org/0000-0002-9180-5079
Boris O. SOKOLOV 1 — Cand. Sci. (Polit. Sci.), Senior Research Fellow, Ronald F. Inglehart Laboratory for Comparative Social Research E-MAIL: bssokolov@gmail.com https://orcid.org/0000-0002-5151-8147
1 HSE University, St. Petersburg, Russia
Abstract. Online surveys offer many advantages over traditional interviews, as they are low-cost, less time-consuming, and reduce interviewer effects. The latter feature is especially important since it makes online surveys an effective tool for gathering information about sensitive topics. This may be invaluable when fieldwork is conducted in contexts where one may expect strong pressure on respondents to provide socially desirable responses. However, online surveys have also several limitations. Online samples are typically non-random and non-representative, and therefore may provide biased estimates of various quantities of interest. In this paper we used data from two online surveys, the Value in Crisis and Online-2018, to assess the
зисе» и «0нлайн-2018») сопоставляются с результатами седьмой волны Всемирного исследования ценностей в плане социал ьно-демографических п рофил ей и ценностных установок респондентов (на примере ценностей выбора и ценностей равенства). Показано, что данные онлайн-опросов репрезентативны по полу и возрасту, однако в них представлено меньше респондентов с низким уровнем образования и жителей сельской местности. Вместе с тем результаты говорят о наличии измерительной инвариантности факторной модели ценностных установок между двумя типами выборок, что позволяет напрямую сравнить полученные в ходе онлайн-исследований ценностные распределения с данными офлайн-опросов. В то же время в онлайн-выборках средние значения обоих ценностных индексов выше практически во всех социально-демографических группах.
Ключевые слова: онлайн-исследо-вания, эмансипативные ценности, Всемирное исследование ценностей, ценности выбора, ценности равенства, «Ценности в кризисе»
Благодарность. Статья подготовлена в рамках гранта, предоставленного Министерством науки и высшего образования Российской Федерации (№ соглашения о предоставлении гранта: 075-15-2022-325).
overall quality of web-based social scientific data collected in Russia. We use data from the 7th wave of the World Value Survey, collected using face-to-face interviews, and from the 2010 Russian Census as benchmarks. We found that both online samples are representative by gender and, to a lesser extent, age. Yet, they had smaller fractions of low-educated and rural-area respondents. Nevertheless, we managed to establish measurement invariance of two sensitive value constructs, choice and equality values, across different survey modes. Substantively, in most socio-demographic groups the mean values of both choice and equality values are greater in online surveys than in offline surveys.
Keywords: online-survey, emancipative values, World Value Survey, choice values, equality values, Values in Crisis
Acknowledgments. The article was prepared in the framework of a research grant funded by the Ministry of Science and Higher Education of the Russian Federation (grant ID: 075-15-2022-325).
Введение
В последние десятилетия онлайн-опросы стали признанным и популярным способом сбора данных в социальных науках. Они имеют ряд важных преимуществ перед традиционными телефонными и личными интервью — как технических (небольшая стоимость, легкость организации и проведения, доступ к большему количеству респондентов), так и содержательных (смягчение так называемых
эффектов интервьюера и снижение доли социально желательных ответов) [Evans, Mathur, 2018; Van Selm, Jankowski, 2006]. Однако у них есть и ряд недостатков, в первую очередь — проблемы с репрезентативностью.
Большая часть исследований, оценивающих качество онлайн-опросов в сравнении с их офлайн-аналогами, проводилась в США и других развитых западных странах. Лишь недавно стали появляться работы, изучающие надежность онлайн-опросов в других культурных контекстах [Mei, Brown, 2018; Boas, Chris-tenson, Glick, 2020; Pham, Rampazzo, Rosenzweig, 2019]. Подобные работы, хотя и немногочисленны, особенно важны для социологов-компаративистов, ведь при условии получения качественных результатов онлайн-опросы могут оказаться крайне полезными при сборе международных данных. Среди их преимуществ в этой связи можно выделить более низкие затраты на сбор данных в бедных странах, которые часто не имеют необходимой исследовательской инфраструктуры, широкие возможности в плане контроля качества данных (что является важной проблемой опросов во многих незападных государствах [Kinyondo, Pelizzo, 2018; Slomczynski, Tomescu-Dubrow, Wysmulek, 2021]), а также возможность бороться с фальсификациями данных или другими проявлениями социальной желательности, которые часто возникают, когда респондентам в недемократических обществах задают вопросы на социально и политически чувствительные темы [Kuran, 1997].
В данной работе оценивается качество данных, полученных с помощью он-лайн-опросов в российском контексте. Для этого используются материалы двух исследований: первой волны международного проекта «Ценности в кризисе» (далее — ЦВК) и онлайн-опроса Лаборатории сравнительных социальных исследований НИУ ВШЭ «Ценностная трансформация и субъективное качество жизни: региональная перспектива» 1 (далее—«0нлайн-2018»). Анкеты обоих исследований во многом разрабатывались на основе опросника Всемирного исследования ценностей (World Value Surveys; далее — WVS), что позволяет сравнить данные онлайн-опросов с соответствующими данными последней доступной волны WVS (а именно седьмой, проведенной в России в 2017 г.) и оценить, как различия в методе сбора данных сказываются на полученных результатах.
Означенные онлайн-выборки оказались репрезентативными (относительно результатов переписи 2010 г.) по полу и, с оговорками, по возрасту, однако в них, по сравнению с WVS, в меньшей степени представлены респонденты с низким уровнем образования и жители сельской местности. Что касается содержательных показателей, то удалось установить наличие инвариантности между различными типами опросов для конфирматорной факторной модели, измеряющей эман-сипативные ценности [Вельцель, 2018]. Это позволяет сравнивать полученные с помощью онлайн-выборок распределения мнений по указанному показателю с материалами офлайн-опросов. В то же время средние значения ценностей оказываются выше в онлайн-опросах, причем практически во всех социально-демографических группах, что, видимо, объясняется снижением эффекта социальной желательности при использовании этого подхода.
1 Данные собраны в рамках гранта Российского научного фонда № 18-18-00341.
Онлайн-опросы: достоинства и недостатки
Как уже было отмечено, применение онлайн-опросов для сбора социологических данных имеет ряд безусловных преимуществ по сравнению с традиционными техниками. В первую очередь стоит отметить меньшие временные и материальные издержки на проведение опросов при сохранении внутренней валидности [Девятко, 2010]. В частности, онлайн-исследования позволяют избежать затрат на печать анкет, телефонные разговоры и работу интервьюеров. Кроме того, ответы респондентов в онлайн-опросах фиксируются автоматически, что обеспечивает быстрый доступ к результатам, а также дает возможность исследователю напрямую контролировать ход сбора данных [Van Selm, Jankowski, 2006]. Одним из следствий снижения затрат на проведение является больший охват респондентов.
Помимо снижения издержек, онлайн-опросы также имеют методологические преимущества. К примеру, они позволяют нивелировать эффекты интервьюера и связанные с ними искажения ответов. Онлайн-опрос предполагает идентичность представления вопросов всем участникам исследования: каждый респондент отвечает на одинаково сформулированные вопросы без каких-либо намеренных или ненамеренных ошибок при зачитывании текста интервьюером. Отсутствие непосредственного контакта с интервьюером создает ситуацию большей анонимности, что позволяет задавать вопросы на чувствительные темы и избегать социально одобряемых ответов [Evans, Mathur, 2005]. Также нужно отметить актуальность онлайн-исследований в условиях все еще продолжающейся пандемии COVID-19: данный тип опросов является наиболее безопасной и оправданной с этической точки зрения формой сбора данных в подобных условиях, так как позволяет избежать непосредственного взаимодействия между интервьюерами и респондентами.
Несмотря на указанные сильные стороны, онлайн-опросы не лишены недостатков. В первую очередь стоит отметить трудности с формированием репрезентативных выборок населения [Lefever, Dal, Matthiasdottir, 2007]. Из-за отсутствия четко определенной генеральной совокупности онлайн-исследования не позволяют использовать вероятностные методы построения выборки, что может приводить к смещению получаемых оценок. Связанной проблемой оказывается систематическая ошибка отбора, характерная для такого типа опросов: не все группы населения имеют одинаковые изначальные шансы попасть в онлайн-выборку [Heiervang, Goodman, 2011; Lefever et al., 2007; Andrade, 2020]. Это во многом обуславливается феноменами, известными как цифровое неравенство первого и второго порядка — социально-демографические страты различаются между собой в уровне доступа к интернету, а также в способах и целях его использования [Norris, 2001; Hargittai, Walejko, 2008].
Нерепрезентативные выборки сильно затрудняют анализ данных, особенно в том случае, если целью исследования является описание распределения мнений в обществе по какому-либо актуальному вопросу. В то же время некоторые авторы утверждают, что для определенных типов исследований, например для оценки выборочного среднего эффекта воздействия в опросных экспериментах, отсутствие репрезентативности не составляет серьезную проблему [Baker et al., 2012; Coppock, McClellan, 2019]. Кроме того, разумные стратегии формирования
выборки и постстратификационное взвешивание могут помочь улучшить оценки, полученные с помощью онлайн-опросов, даже в описательных исследованиях [Zhang et al., 2020].
С другой стороны, отсутствие внешнего контроля интервьюера может приводить к большему числу пропущенных значений в онлайн-опросах. При этом вероятность пропущенных значений неравномерно распределена среди социальных групп: например, она выше среди респондентов с более низким социальным статусом [Heiervang, Goodman, 2011]. Также наблюдаются различия в стилях ответов при самостоятельном заполнении анкеты и при взаимодействии с интервьюером: в онлайн-опросах респонденты чаще выбирают «средние» категории, что может свидетельствовать о недостаточно внимательном отношении к заполнению анкет [Weijters, Schillewaert, Geuens, 2008; Heerwegh, Loosveldt, 2002].
Проблема социальной желательности
Впрочем, присутствие интервьюера может не только положительно, но и негативно влиять на качество данных, в частности вести к искажению ответов респондента по сравнению с его реальным мнением. Один из наиболее важных эффектов такого рода связан с проблемой социальной желательности [Krumpal, 2013]. Ряд методологических исследований показывает, что в опросах, проведенных с помощью личных интервью, выше процент социально одобряемых ответов и пропущенных значений для вопросов по чувствительным для общества в целом или для некоторой группы темам [Villarroel et al., 2006; 2008; Tourangeau, Yan, 2007; Tourangeau, Smith, 1996]. Эта проблема часто возникает в исследованиях субъективных установок и ценностных ориентаций [Himelein, 2016, Журавлева, 2009]. Так, в западных странах респонденты в личных интервью дают более либеральные (более социально желательные) ответы по сравнению с онлайн-опросами [Liu, 2017; Caputo, 2017].
Эффект социальной желательности может проявляться напрямую (например, когда интервьюеры пропускают вопросы, которые они считают неудобными) и опосредованно [Dijkstra, 1983; West, Blom, 2017]. К опосредованным эффектам можно отнести ситуации, в которых респонденты склонны корректировать ответы с учетом характеристик опрашивающих их людей [Fowler, Mangione, 1990; Yang, Yu, 2008]: хорошо известно, что пол интервьюера влияет на то, как люди отвечают на ответы на вопросы о гендерном неравенстве,—интервьюеры-женщины получают более эгалитарные ответы по сравнению с их коллегами-мужчинами [Benstead, 2014; Kane, Macaulay, 1993; Huddy et al., 1997].
Результаты предыдущих исследований позволяют предположить, что распределения ценностных ориентаций в российских офлайн- (WVS) и онлайн-опросах («0нлайн-2018» и ЦВК) могут отличаться из-за большей доли социально одобряемых ответов в личных интервью. Вместе с тем выраженность и направление данных различий остаются неясными. С одной стороны, существующая литература предполагает, что респонденты склонны давать более либеральные ответы в личных интервью. С другой стороны, подавляющее большинство подобных исследований были проведены в западных странах, где либеральные ориентации доминируют и потому рассматриваются как социально желательные.
В более консервативных режимах часто встречается самоцензура в форме сокрытия или фальсификации личных предпочтений при разговоре с незнакомыми людьми [Kuran, 1997]. Респонденты могут неохотно участвовать в опросах и отказываться отвечать на чувствительные вопросы, связанные с оценкой деятельности правительства или собственными ценностными установками [Buschmann, 2019; Matelski, 2014]. Исследования также говорят о том, что в подобных контекстах чаще проявляется эффект социальной желательности [Kalinin, 2016; Robinson, Tannenberg, 2019] -это связано как с давлением со стороны окружения [Zhou, Tang, Lei, 2020], так и с общим уровнем цензуры. Либеральные ценностные ориентации в таких обществах часто осуждаются властями или влиятельными группами интересов [Greene, Robertson, 2017], поэтому можно предположить, что ответы респондентов в личных интервью должны быть смещены в более консервативную сторону по сравнению с онлайн-опросами.
Данные и методы анализа
Чтобы понять, насколько качественные данные в России можно получить с помощью онлайн-опросов, в настоящей работе предпринимается сравнение онлайн-и офлайн-выборок по двум основным аспектам. Во-первых, оценивается представленность различных социально-демографических групп (выделенных по полу, возрасту, уровню образования и месту проживания) в разных типах опросов. В качестве «золотого стандарта» здесь используются результаты Всероссийской переписи населения 2010 г. 2
Во-вторых, сопоставляются распределения ценностей выбора и ценностей равенства, полученные с помощью онлайн- и офлайн-методов. Указанные конструкты являются элементами концепции эмансипативных ценностей 3 и отражают индивидуальное отношение соответственно к а) свободам в сфере репродуктивного и сексуального поведения и б) гендерному равенству [Вельцель, 2018]. Предыдущие исследования говорят об относительно низкой распространенности этих ценностей в России [Алмакаева, Мавлетова, 2018; Inglehart, 2018], да и в целом государственная риторика и политика в данной сфере направлены на поддержку консервативных установок и практик (в качестве примеров можно привести недавнюю декриминализацию домашнего насилия и более ранний закон о запрете пропаганды нетрадиционных сексуальных отношений среди несовершеннолетних).
Таким образом, при личном контакте с интервьюером респонденты, отвечая на соответствующие вопросы анкеты, могут руководствоваться представлением о том, что консервативные взгляды одобряются социумом в большей степени, и корректировать свою позицию соответствующим образом. Отсутствие внешнего давления в онлайн-опросах должно способствовать большей открытости респондентов с либеральными или умеренными взглядами.
2 Всероссийская перепись населения 2010. URL: https://rosstat.gov.ru/free_doc/new_site/perepis2010/croc/ perepis_itogi1612.htm (дата обращения 12.07.2021).
3 Данное понятие предложено К. Вельцелем и представляет собой дальнейшее развитие концепций постматериалистических ценностей и ценностей самовыражения R Инглхарта. В теории культурной эволюции Инглхарта — Вельцеля эмансипативные ценности являются одним из основных показателей модернизации общества; их распространению способствует рост экономического благосостояния и общего уровня физической защищенности населения.
В качестве эмпирической основы исследования выступают материалы двух онлайн-опросов — «Ценности в кризисе» (ЦВК) и «Ценностная трансформация и субъективное качество жизни: региональная перспектива» («Онлайн-2018») — и одного офлайн-опроса — седьмой волны Всемирного исследования ценностей (WVS). Анкеты онлайн-исследований разрабатывались в том числе на основе анкеты WVS и содержат значительное количество вопросов из последней, что позволяет напрямую сравнить распределения по социально-демографическим характеристикам и ценностям и установкам респондентов между этими опросами.
Данные седьмой, последней на данный момент волны WVS, проводившейся в России, были собраны в конце 2017 г. Институтом сравнительных социальных исследований (ЦЕССИ). Опрос осуществлялся с помощью личных формализованных интервью; использовалась многоступенчатая территориальная стратифицированная вероятностная выборка, финальная версия которой включает 1 810 наблюдений. Опрос «Онлайн-2018» был проведен компанией OMI (Online market intelligence) в 2018 г. Данные были собраны с помощью квотной выборки, учитывающей результаты переписи населения. В этом исследовании квоты задавались по полу, возрасту, федеральному округу, величине населенного пункта, а также уровню образования. Размер выборки составил 1 021 человек. Данные первой волны опроса ЦВК также собирались OMI в период с 10 по 16 июня 2020 г. с использованием квот по полу и возрасту. Итоговая база данных содержит информацию о 1 527 респондентах.
Несмотря на то, что анкеты для ЦВК и «Онлайн-2018» включают много заимствований из WVS, для некоторых вопросов с одинаковыми формулировками между исследованиями различаются варианты ответов. Чтобы привести соответствующие шкалы к сравнимому виду, такие переменные были перекодированы 4.
Ценности выбора обычно определяются как усредненная позиция респондента по отношению к допустимости 5 таких практик, как гомосексуальность, аборты и разводы (по шкале от 1 до 10 баллов, где 1 означает, что соответствующее явление никогда не может быть оправдано, а 10 — что оно всегда может быть оправдано). Ценности равенства отражают среднюю степень несогласия со следующими тремя утверждениями, а именно [Вельцель, 2018]:
— «Когда рабочих мест недостаточно, мужчины должны иметь больше прав на работу, чем женщины» (шкала от 1 до 5);
4 Во-первых, в ЦВК и «Онлайн-2018» нет прямого вопроса о возрасте респондентов, однако есть данные о годах рождения, в силу чего возраст рассчитывался как разность между годом опроса и годом рождения. Во-вторых, в ЦВК вопрос об уровне образования предполагает три варианта ответа, тогда как в WVS выделяется девять образовательных уровней, а в «Онлайн-2018»—семь. Исходя из этого, ответы на указанный вопрос в WVS и «Онлайн-2018» были объединены в три группы, соответствующие вариантам ЦВК: начальное образование, среднее / среднее специальное образование и высшее образование. В-третьих, имеются различия в плане кодировки места проживания респондентов: ЦВК разграничивает типы населенных пунктов на основании размера (например, «большой город», «маленький город» и т. д.), в то время как WVS делает акцент на официальном статусе (например, «столица», «районный центр» и т.д.), а в «Онлайн-2018» населенные пункты классифицированы по численности населения. В данном случае все возможные значения соответствующей переменной были разделены на две категории: «город» либо «сельская местность». В-четвертых, WVS, «Онлайн-2018» и ЦВК используют принципиально разные подходы к определению доходов респондентов. В WVS применялся субъективный подход, при котором интервьюируемых просили указать свой уровень дохода в сравнении с другими людьми, тогда как в ЦВК и «Онлайн-2018» задавался вопрос о реальных доходах респондентов. Вследствие концептуальной несовместимости в настоящей работе не проводится сравнение этих опросов по данным о доходе.
5 В формулировках соответствующих вопросов используются производные от термина «оправданность» (англ. justifiability).
— «Высшее образование важнее для мальчика, чем для девочки» (шкала от 1 до 4);
— «В целом мужчины становятся лучшими политическими лидерами, чем женщины» (шкала от 1 до 4).
Количество ответных категорий приводится для WVS; в анкетах ЦВК и «Он-лайн-2018» для некоторых вопросов оно незначительно отличается. Поэтому все шесть переменных были приведены к единой шкале от 0 до 1, где 1 соответствует наиболее либеральной позиции.
Для сравнения распределений категориальных переменных между опросами и с «эталонными» значениями из переписи были использованы биномиальный тест и критерий хи-квадрат. Сопоставление распределений интервальных и метрических переменных проводилось с помощью двухвыборочного t-критерия Стьюдента для независимых выборок и критерия Колмогорова-Смирнова.
Следует отметить, что незначимые результаты указанных тестов в классическом подходе к проверке статистических гипотез, основанном на идее нулевой гипотезы, не означают с необходимостью полного совпадения сравниваемых характеристик [Lakens, Delacre, 2020]. В случае отсутствия значимых различий в средних и пропорциях также проводились тесты на эквивалентность по методу двух односторонних тестов (two one-sided tests—TOST) [Schuirmann, 1987]. Для каждого теста задавались минимальная и максимальная границы интервала эффектов, величину которых можно считать несущественной с содержательной точки зрения. Нулевой гипотезой являлось предположение о наличии значительного эффекта, выходящего за рамки выбранных границ. Альтернативная гипотеза заключалась в том, что значение проверяемого эффекта находится внутри допустимого интервала и является пренебрежимо малым. В рамках данной методики статистически значимые результаты свидетельствуют об отсутствии различий между выборками или же о содержательной эквивалентности сравниваемых показателей [Lakens, Scheel, Isager, 2018]. Интервалы пренебрежимо малых различий задавались с помощью популярных стандартизированных мер величины эффекта, а именно h Коэна (для пропорций) и d Коэна (для средних значений). В обоих случаях использовались интервалы [-0,2; 0,2], так как именно величина I 0,21 часто указывается в виде нижнего порога для минимально значимых эффектов [Cohen, 1992].
Так как ценности выбора и равенства представляют собой латентные конструкты, то их распределения строились как на основе индексов (арифметические средние индивидуальных ответов на соответствующие вопросы анкеты), так и с помощью конфирматорного факторного анализа.
Кроме того, для факторной модели ценностей выбора и равенства была проведена предварительная проверка на измерительную инвариантность между опросами [Руднев, 2013; Соколов, Корсунова, 2018] 6. Для этого использовался
6 Допущение об измерительной инвариантности подразумевает, что некоторая факторная модель использует одни и те же индикаторы для измерения конкретных латентных переменных и вдобавок имеет (приблизительно) одинаковые значения основных параметров (факторных нагрузок и констант отдельных индикаторов) в сравниваемых выборках. Если это допущение выполняется, то шкалы соответствующих латентных переменных имеют одинаковые единицы измерения и точки отсчета в разных группах и, следовательно, являются сравнимыми. Если оно не выполняется, то сопоставление агрегированных описательных статистик (средние, дисперсии, корреляции с другими переменными) по этим латентным переменным между группами проблематично, так как их значения имеют различный математический смысл в разных выборках.
стандартный подход, а именно последовательное попарное сравнение качества трех моделей, предполагающих разные, иерархически упорядоченные уровни инвариантности: конфигуративной (одинаковые паттерны значимых факторных нагрузок между выборками), метрической (одинаковые величины факторных нагрузок) и скалярной (одинаковые значения факторных нагрузок и констант наблюдаемых переменных) [Horn, McArdle, 1992; Davidov et al., 2014].
«Абсолютное» качество подгонки факторных моделей для отдельных выборок и конфигуративной модели фиксировалось с помощью следующих критериев: CFI (сравнительный критерий согласия) > 0,95; RMSEA (квадратичная усредненная ошибка аппроксимации) < 0,08; SRMR (стандартизированный среднеквадра-тический остаток) < 0,08 7 [Brown, 2015]. Для оценки «относительного» качества моделей с разным уровнем инвариантности использовались пороговые значения различий в критериях подгонки, предложенные Ф. Ф. Чен: ACFI < -0,01; ARMSEA < 0,015; ASRMR < 0,03 при сравнении конфигуративной и метрической модели и ACFI < -0,01; ARMSEA < 0,015; ASRMR < 0,01 при сравнении метрической и скалярной модели [Chen, 2007] 8.
Результаты
Социально-демографические характеристики респондентов
В таблице 1 представлены основные демографические характеристики респондентов ЦВК, «0нлайн-2018» и WVS, а также соответствующие результаты переписи населения 2010 г.
В отношении распределений по полу результаты формального сравнения показывают, что доля женщин во всех представленных исследованиях не отличается от результатов переписи населения (биномиальный тест: p-значение > 0,05 во всех случаях; тест на эквивалентность: p-значение < 0,01 во всех случаях), хотя в целом в онлайн-вопросах она несколько ниже, чем в переписи и WVS.
Что касается уровня образования респондентов, то в данном случае WVS также дает пропорции, схожие с результатами переписи населения, а вот среди респондентов онлайн-опросов значительно меньше людей с начальным уровнем образования и несколько больше обладателей высшего образования. При этом различия в долях респондентов с начальным уровнем образования оказываются статистически значимыми (х2 = 19,79; p-значение < 0,01).
В меньшей степени представлены в онлайн-опросах также жители сельской местности. В ЦВК сельские жители составляют 13,2 % выборки, а в «0нлайн-2018»— только 8 %. В то же время по результатам переписи на селе проживают 26,3 % населения страны. Отличия онлайн-опросов от переписи являются статистиче-
7 Указаны интервалы значений, при которых соответствующая факторная модель может рассматриваться как условно «хорошая», то есть достаточно точно воспроизводящая выборочную ковариационную матрицу наблюдаемых индикаторов. Модели со значениями показателей подгонки ниже (для 0Р1) или выше (для РМБЕЛ и БРМР), чем обозначенные пороговые отметки, считаются проблематичными.
8 Указаны интервалы значений, при которых модель с более высоким уровнем инвариантности может рассматриваться как сравнимая по качеству с моделью с менее высоким уровнем инвариантности (например, метрическая против конфигуративной). Если по одному или нескольким показателям подгонки различия между сравниваемыми моделями превышают пороговые значения, то модель с более высоким уровнем инвариантности отвергается и делается вывод о том, что допущение о данном уровне инвариантности для исследуемой модели не выполняется. См. также [Соколов, Корсунова, 2018: 21].
ски значимыми (биномиальный тест: р-значения < 0,01 для обеих баз данных). Результаты WVS, в свою очередь, соответствуют переписи (биномиальный тест: р-значение = 0,39; тест на эквивалентность: Z = 18,3; р-значение < 0,01).
Таблица 1. Распределения социально-демографических характеристик респондентов в ЦВК, •Юнлайн-2018», WVS-7 и переписи 2010 г.
Переменные Значения переменных ЦВК «Онлайн-2018» WVS 7 волна Перепись 2010
Распределение частот в %
Пол Женский 53,2 52,4 54,9 54,8
Мужской 46,8 47,6 45,1 46,2
Иной 0 — — —
Образование Начальное 3,5 0,8 12,4 14,6
Среднее и среднее специальное 57,1 60,4 53,7 56,3
Высшее 39,4 38,8 33,4 29,1
Место жительства Город 86,8 92,0 72,8 73,7
Село 13,2 8,0 27,2 26,3
Описательные статистики
Возраст Среднее 45,7 45,7 45,4 45,4
Стандартное отклонение 14,4 14,0 17,1 18,8
Размах 18—83 18—84 18—91 18—100
Наконец, в случае с возрастом средние значения схожи во всех представленных опросах и совпадают с результатами переписи (попарные £-тесты: р-зна-чения > 0,05; попарные тесты на эквивалентность: р-значения < 0,01). Однако разброс значений по данной переменной различается: в онлайн-опросах дисперсия возраста меньше, чем в WVS и переписи (попарные тесты Фишера: р-значения < 0,01). Также следует отметить, что возраст самых пожилых респондентов в ЦВК и «0нлайн-2018» ниже, чем в WVS и переписи. Кроме того, тест Колмогорова-Смирнова говорит о наличии значимых различий в распределениях данной переменной между онлайн-опросами и WVS (р-значения < 0,01).
Перечисленные результаты свидетельствуют о наличии нескольких важных различий между онлайн- и офлайн-опросами в плане их репрезентативности относительно основных социально-демографических групп. В частности, в ЦВК и «0нлайн-2018» в меньшей степени представлены жители сельской местности, респонденты из старших возрастных групп, а также малообразованные граждане. Эти результаты согласуются с предыдущими исследованиями российского контекста и могут интерпретироваться как проявления проблемы цифрового неравенства [Йоте, 2001; На^Ща1, Walejko, 2008]. Так, ранее уже было показано, что в России реже пользуются интернетом пожилые [Волченко, 2016], люди с низким уровнем образования [Архипова, Сиротин, 2019] и сельские жители (видимо, из-за меньшей доступности интернета за пределами городов) [Шиняева, Полетаева, Слепова, 2019]. Таким образом, недопредставленность определенных
групп населения в онлайн-опросах может быть объяснена изначальными различиями в социально-демографических характеристиках интернет-пользователей и населения страны в целом.
Ценности выбора и ценности равенства
На рисунке 1 представлены распределения переменных, используемых для расчета ценностных индексов. Верхний ряд графиков показывает частотные распределения по трем вопросам, измеряющим ценности выбора, а нижний ряд — по индикаторам ценностей равенства. Для всех шести вопросов в онлайн-выборках ниже доля респондентов, которые предпочли наиболее консервативный вариант ответа (крайний слева), тогда как респонденты WVS реже выбирают наиболее либеральную категорию (крайняя справа). Также в ЦВК и «0нлайн-2018» больше выбравших средние категории.
Рис. 1. Частотные распределения для отдельных индикаторов ценностных установок
На рисунке 2 представлены распределения индексов ценностей выбора и ценностей равенства (рассчитанных как индивидуальные арифметические средние по соответствующим вопросам). На графиках видно, что средние значения ценностей выбора и ценностей равенства ниже в WVS (0,37 и 0,50 соответственно), в то время как в ЦВК и «0нлайн-2018» они практически не различаются (0,46 и 0,62 в первом опросе; 0,45 и 0,61 — во втором). Кроме того, в случае с ценностями выбора в WVS присутствует больше низких значений, в то время как в ЦВК и «0нлайн-2018» чаще встречаются значения, близкие к средним. Схожая картина наблюдается и для ценностей равенства: в ЦВК больше показателей,
близких к средним, тогда как в WVS в меньшей степени представлены высокие значения индекса.
Чтобы понять, в какой степени выявленные отличия отражают реальные различия в распределениях ценностей между онлайн- и офлайн-выборками, а в какой — возможные методологические артефакты, для конфирматорной факторной модели ценностей выбора и равенства была проведена проверка на измерительную инвариантность между тремя опросами 9. Показатели качества подгонки для конфи-гуративной, метрической и скалярной спецификаций представлены в таблице 2. Первые две хорошо описывают данные в абсолютных терминах (CFI = 0,983 и 0,976 соответственно; RMSEA = 0,049/0,052; SRMR = 0,026/0,036); различия в качестве подгонки между ними также незначительны (ACFI = 0,007; ARMSEA = -0,003; ASRMR = -0,01). Поэтому можно заключить, что паттерны факторных нагрузок и, следовательно, единицы измерения латентных шкал для двух ценностных конструктов являются инвариантными между сравниваемыми выборками.
В то же время скалярно инвариантная модель не слишком точно отражает наблюдаемую ковариационную матрицу и структуру средних значений индикаторов как в абсолютном смысле, так и относительно метрической модели (ACFI = 0,07; ARMSEA = -0,042; ASRMR = -0,02). Однако модель с частичной скалярной инвариантностью [Steinmetz et. al., 2009], в которой константа для переменной «когда рабочих мест недостаточно, мужчины должны иметь больше прав на работу, чем женщины», свободно оценивается в каждой группе, имеет приемлемые показатели подгонки (за исключением ACFI относительно метрической спецификации). Поэтому вполне правдоподобным представляется заключение о том, что латентные шкалы для ценностей выбора и ценностей равенства имеют
9 Двухфакторная модель ценностей была оценена также для каждого опроса по отдельности. Для WVS CFI = 0,976; RMSEA = 0,054; SRMR = 0,027; для ЦВК CFI = 0,988; RMSEA = 0,044; SRMR = 0,024; для «0нлайн-2018» CFI = 0,985; RMSEA = 0,039; SRMR = 0,030. Как видно из представленных чисел, во всех трех выборках модель воспроизводила выборочную ковариационную матрицу достаточно точно. Факторные нагрузки для всех индикаторов также были статистически значимыми, имели ожидаемый знак и достаточную величину в каждом случае.
не только эквивалентные единицы измерения, но и эквивалентные точки отсчета во всех трех анализируемых опросах. Таким образом, наблюдаемые распределения по указанным ценностным конструктам основываются на математически инвариантных измерительных моделях и могут напрямую сравниваться между онлайн- и офлайн-выборками.
Таблица 2. Оценки качества факторных моделей с разными типами инвариантности
Инвариантность CFI RMSEA SRMR Д CFI Д RMSEA Д SRMR
Конфигуративная 0,983 0,049 0,026
Метрическая 0,976 0,052 0,036 -0,007 0,003 0,010
Скалярная 0,906 0,094 0,056 -0,070 0,042 0,020
Частичная скалярная (константы для переменной «когда рабочих мест недостаточно, мужчины должны иметь больше прав на работу, чем женщины» различаются между группами) 0,957 0,064 0,041 -0,019 0,012 0,005
Примечание: 0Р1 — сравнительный критерий согласия, РМБЕЛ—квадратичная усредненная ошибка аппроксимации, БРМР — стандартизированный среднеквадратический остаток.
Почему средние значения ценностей выше в онлайн-опросах?
Можно предложить несколько объяснений для выявленных различий в распределениях ценностей между ЦВК и «0нлайн-2018» с одной стороны и WVS с другой стороны. Так, теория модернизации в версии Инглхарта — Вельцеля постулирует, что эмансипативные установки распространяются с течением времени благодаря экономическому росту и общему улучшению качества жизни [Вельцель, 2018; 1пё!еИаг1, 2018]. В силу этого можно ожидать, что средние значения ценностных индексов в онлайн-опросах будут выше, чем в WVS, так как они проводились позже. Для проверки этого предположения с помощью материалов предыдущих волн WVS были построены линейные аппроксимации динамики ценностей выбора и ценностей равенства, а затем на их основе рассчитаны ожидаемые значения для годов проведения онлайн-опросов (2018 и 2020). Результаты представлены в таблице 3. Реальные значения, наблюдаемые в «0нлайн-2018» и ЦВК, оказались значимо выше предсказанных (во всех случаях для одновыборочного теста Стьюдента р-значение < 0,01). Это ставит под сомнение правдоподобность гипотезы «эмансипативного тренда» 10.
Таблица 3. Средние значения ценностей выбора и равенства в России в WVS и предсказанные значения для 2018 и 2020 гг.
Переменные Волна 2 (1990) Волна 3 (1995) Волна 5 (2006) Волна 6 (2011) Волна 7 (2017) Ожидаемое в 2018 «Онлайн-2018» Ожидаемое в 2020 ЦВК (2020)
Ценности выбора 0,29 0,33 0,34 0,37 0,37 0,40 0,45 0,41 0,46
Ценности равенства — 0,47 0,51 0,53 0,50 0,53 0,61 0,54 0,62
10 Дополнительным аргументом против этой гипотезы может служить тот факт, что темпы роста российской экономики последние несколько лет были невысокими. К тому же в 2020 г. началась пандемия COVID-19, которая, несомненно, отрицательно сказалась на качестве жизни россиян. Другими словами, материальных предпосылок дальнейшего распространения эмансипативных ценностей (по сравнению с 2017 г.) не имелось.
Другой причиной различий между двумя типами опросов может быть принципиальное смещение онлайн-выборок в отношении целевого показателя. Пожилые люди, люди с более низким уровнем образования, а также люди, проживающие в небольших населенных пунктах, обычно придерживаются более консервативных взглядов [Алмакаева, Мавлетова, 2018; Welzel, 2011]. Однако эти категории населения часто недопредставлены в онлайн-опросах [Van Selm, Jankowski, 2006; Evans, Mathur, 2018; Heiervang, Goodman, 2011; Lefever et.al., 2007], в том числе и в «0нлайн-2018» и ЦВК. Другими словами, онлайн-опросы могут давать завышенные оценки распространенности ценностей выбора и равенства потому, что в недостаточной степени покрывают группы, не разделяющие эти ценности. Чтобы проверить данное предположение, для всех трех баз данных были рассчитаны средние значения ценностных индексов (арифметических) по группам, выделенным на основе возраста, пола, места проживания и образования (см. табл. 4). Сравнения с помощью теста Стьюдента для независимых выборок показывают, что, вопреки ожиданиям, онлайн-оценки значимо выше соответствующих значений WVS практически во всех рассматриваемых группах (на уровне значимости а = 0,05; исключения выделены курсивом). Из этого следует, что выявленные различия между типами опросов вряд ли объясняются разницей в представленности тех или иных социальных страт.
Таблица 4. Средние значения ценностей выбора и равенства в различных социальных группах в онлайн- и офлайн-опросах
Группа Индекс ЦВК «Онлайн-2018» WVS p ЦВК и «Онлайн-2018» p ЦВК и WVS p «Онлайн-2018» и WVS
Возраст 18—24 Ценности выбора 0,62 0,54 0,40 0,05 <0,01 <0,01
Ценности равенства 0,64 0,63 0,52 0,78 <0,01 <0,01
Возраст 25—34 Ценности выбора 0,49 0,45 0,39 0,08 <0,01 0,01
Ценности равенства 0,63 0,64 0,49 0,67 <0,01 <0,01
Возраст 35—44 Ценности выбора 0,44 0,45 0,40 0,72 0,04 0,02
Ценности равенства 0,60 0,61 0,51 0,78 <0,01 <0,01
Возраст 45—54 Ценности выбора 0,42 0,46 0,40 0,12 0,19 0,01
Ценности равенства 0,61 0,62 0,51 0,76 <0,01 <0,01
Возраст 55+ Ценности выбора 0,42 0,39 0,32 0,12 <0,01 <0,01
Ценности равенства 0,61 0,59 0,50 0,83 <0,01 <0,01
Женщины Ценности выбора 0,51 0,51 0,38 0,95 <0,01 <0,01
Ценности равенства 0,69 0,67 0,54 0,15 <0,01 <0,01
Мужчины Ценности выбора 0,40 0,39 0,36 0,93 0,01 0,01
Ценности равенства 0,53 0,56 0,46 0,12 <0,01 <0,01
Город Ценности выбора 0,47 0,46 0,40 0,53 <0,01 <0,01
Ценности равенства 0,62 0,62 0,52 0,96 <0,01 <0,01
Сельская местность Ценности выбора 0,38 0,39 0,30 0,70 <0,01 <0,01
Ценности равенства 0,59 0,58 0,47 0,53 <0,01 <0,01
Группа Индекс ЦВК «Онлайн-2018» WVS p ЦВК и «0нлайн-2018» p ЦВК и WVS p «Онлайн-2018» и WVS
Начальное образование Ценности выбора 0,41 0,41 0,30 0,99 0,01 0,01
Ценности равенства 0,60 0,44 0,46 <0,01 <0,01 0,38
Среднее и среднее специальное образование Ценности выбора 0,45 0,43 0,35 0,15 <0,01 <0,01
Ценности равенства 0,61 0,61 0,50 0,96 <0,01 <0,01
Высшее образование Ценности выбора 0,47 0,49 0,43 0,21 0,01 0,01
Ценности равенства 0,62 0,63 0,52 0,87 0,01 <0,01
Примечание: р-величины в трех колонках справа отражают результаты теста Стьюдента для независимых выборок для попарных сравнений средних значений ценностей выбора и равенства в различных социально-демографических группах между тремя базами данных.
В целях дополнительной проверки этой гипотезы были построены линейные регрессионные модели, в которых зависимыми переменными выступили ценностные индексы, а независимыми — социально-демографические характеристики респондентов. При этом данные всех опросов были взвешены по полу, возрасту, типу населенного пункта и уровню образования в соответствии с результатами переписи населения. Чтобы учесть возможное смещение выборки в онлайн-исследованиях из-за систематической ошибки отбора, были также отдельно оценены модели для интернет-пользователей в WVS. Для этого были задействованы респонденты WVS, указавшие, что они используют интернет как источник новостей 11. Таких набралось 64 % от общей выборки. Это значение ниже, чем другие оценки доли интернет-пользователей среди российского населения в 2017 г. (71 % по данным Mediascope 12). Однако положительный ответ на вопрос об использовании интернета в качестве источника новостей предполагает, что респондент активно пользуется им и для других целей, а значит, с большей вероятностью может быть рекрутирован в онлайн-исследование.
Регрессионные модели для ценностей выбора представлены в таблице 5. Модель для пользователей интернета в WVS и модель, построенная на полной выборке WVS, различаются в плане оценки значимости эффектов пола и возраста: первый значим для пользователей интернета и незначим в полной выборке, а для второго наблюдается обратная картина. В то же время численные оценки этих коэффициентов схожи между моделями, а р-значения незначимых эффектов лишь немного превышают стандартную отсечку 0,05, так что указанные отличия не столь принципиальны.
Модель на данных ЦВК не показывает значимую в WVS связь между ценностями выбора и наличием высшего образования, хотя величина этого коэффициента в ЦВК похожа на оценки обеих моделей на основе офлайн-выборки (0,10 против 0,08 и 0,12). Можно предположить, что проблема заключается в недостаточной мощности соответствующего теста: опорная категория для переменной «образование» — начальное образование — представлена в ЦВК лишь 3,5 % респондентов.
11 К сожалению, анкета седьмой волны WVS не содержит прямого вопроса об использовании интернета.
12 Аудитория пользователей интернета в России в 2017 г. составила 87 млн человек // Mediascope. 2017. 21 апреля. URL: https://mediascope.net/news/744498/ (дата обращения 06.07.2021).
«Онлайн-2018» стоит особняком, так как соответствующая модель имеет только один статистически значимый предиктор — пол. Более того, коэффициенты остальных независимых переменных в ней меньше, чем в остальных моделях, а один — «образование (среднее и СП)»—даже имеет противоположный знак.
Таблица 5. Связь ценностей выбора и социальных характеристик (линейная регрессия)
Переменные ЦВК Онлайн-2018 WVS WVS (интернет-пользователи)
Оценка p Оценка p Оценка p Оценка p
Константа 0,55 <0,001 0,51 0,001 0,44 <0,001 0,39 <0,001
Возраст -0,00 <0,001 -0,00 0,536 -0,00 <0,001 -0,00 0,064
Пол (М) -0,09 <0,001 -0,10 <0,001 -0,03 0,056 -0,04 0,013
Место проживания (село) -0,08 0,001 -0,04 0,186 -0,08 <0,001 -0,06 <0,001
Образование (среднее и СП) 0,05 0,431 -0,01 0,970 0,02 0,452 0,06 0,075
Образование (высшее) 0,10 0,149 0,04 0,785 0,08 0,001 0,12 <0,001
Количество наблюдений 1 504 1 021 1 493 1 024
Р2 / Р2 скорректированный 0,075 / 0,072 0,065 / 0,061 0,063 / 0,060 0,046 / 0,041
Для ценностей равенства различия между типами опросов выражены в большей степени (см. табл. 6). Обе модели на данных онлайн-выборок предполагают только один значимый предиктор, а именно пол. Модели на основе WVS дополнительно показывают наличие связей между ценностями равенства и уровнем образования, а также местом проживания респондента. Хотя знаки регрессионных коэффициентов для онлайн- и офлайн-данных в целом похожи (единственное исключение — негативный эффект возраста в «0нлайн-2018»), размеры отличаются, причем иногда — в несколько раз.
Таблица 6. Связь ценностей равенства и социальных характеристик (линейная регрессия)
Переменные ЦВК Онлайн-2018 WVS WVS (интернет-пользователи)
Оценка р Оценка p Оценка p Оценка p
Константа 0,65 <0,001 0,54 0,001 0,51 <0,001 0,50 <0.001
Возраст 0,00 0,104 -0,00 0,301 0,00 0,648 0,00 0,197
Пол (М) -0,16 <0,001 -0,11 <0,001 -0,08 <0,001 -0,10 <0,001
Место проживания (село) -0,02 0,405 -0,01 0,779 -0,04 <0,001 -0,07 <0,001
Образование (среднее и СП) 0,01 0,810 0,15 0,333 0,04 0,045 0,06 0,048
Образование (высшее) 0,02 0,733 0,15 0,325 0,05 0,021 0,06 0,037
Количество наблюдений 1 504 1 021 1 493 1 052
Р2/ Р2 скорректированный 0,122 / 0,119 0,061 / 0,056 0,048 / 0,045 0,080 / 0,075
Можно предположить, что в онлайн-опросах эффект социальной желательности оказывается менее выраженным, причем в наибольшей степени это «эмансипирующее» воздействие формата проявляется среди тех категорий населения, которые в традиционных опросах выражают более консервативные позиции. Это ведет и к более высоким средним значениям ценностей в онлайн-опросах в целом, и к уменьшению различий между основными социально-демографическими группами (что обуславливает и меньшее количество значимых предикторов в этом типе опросов). Впрочем, имеющихся в ЦВК данных недостаточно, чтобы окончательно подтвердить (или опровергнуть) эту интерпретацию.
Заключение
На основании представленных результатов можно сделать несколько важных выводов. Во-первых, несмотря на использование квот, социально-демографические профили респондентов рассмотренных онлайн- и офлайн-выборок отличаются друг от друга. В частности, в первой категории опросов меньше представлены пожилые люди, респонденты с низким уровнем образования и жители сельской местности. Эти наблюдения сходятся с предыдущими исследованиями и в целом объясняются существующим в российском обществе цифровым неравенством. Впрочем, проблема недостаточного покрытия некоторых групп населения в онлайн-опросах может быть частично решена за счет взвешивания или продуманной стратегии рекрутинга респондентов из этих групп.
Во-вторых, измерительные модели для ценностей выбора и равенства являются инвариантными по отношению к методу сбора данных. Это означает, что распределения по указанным конструктам, полученные с помощью онлайн-опросов, не менее надежны, чем результаты традиционных опросов и математически сравнимы с ними.
В-третьих, несмотря на наличие измерительной инвариантности, средние значения ценностей выбора и равенства оказываются выше в онлайн-опросах. Наблюдаемые различия нельзя объяснить естественным процессом распространения эмансипативных ценностей с течением времени и разницей в социально-демографической структуре онлайн- и офлайн-выборок: они сохраняются и при разбиении на подвыборки по полу, возрасту, образованию и месту проживания.
Более того, в онлайн-опросах обнаруживается меньше значимых предикторов ценностных установок из числа социально-демографических атрибутов, чего не наблюдается при сравнении регрессионных моделей для подвыборки интернет-пользователей, опрошенных в WVS, и полной выборки WVS. Последний результат позволяет предположить, что выявленные различия все же связаны с типом сбора данных. Как представляется, дело в том, что онлайн-опросы позволяют снизить влияние соображений социальной желательности, благодаря чему респонденты высказывают более либеральные взгляды по сравнению с теми, которые они готовы озвучить в ходе личных интервью. Можно сделать вывод, что этот тип опросов является вполне легитимной, причем зачастую более удобной и дешевой, альтернативой офлайн-методам для сбора данных об установках населения по сенситивным проблемам в российском контексте.
Список литературы (References)
Алмакаева А. М., Мавлетова А. М. Модернизационные процессы в России: ожидать ли сдвига в сторону эмансипативных ценностей? // Мониторинг общественного мнения: экономические и социальные перемены. 2018. № . 6. С. 91—112. https://doi.Org/10.14515/monitoring.2018.6.05.
Almakaeva A. M., Mavletova A. M. (2018) Modernization Process in Russia: Can We Expect the Shift to Emancipative Values? Monitoring of Public Opinion: Economic and Social Changes. No. 6. P. 91—112 https://doi.org/10.14515/monitoring.2018.6.05. (In Russ.)
Архипова М. Ю., Сиротин В. П. Региональные аспекты развития информационно-коммуникационных и цифровых технологий в России // Экономика региона. 2019. Т. 15. № . 3. C. 670—683. https://doi.org/10.17059/2019-3-4. Arkhipova M. Yu., Sirotin V. P. (2019) Development of Digital Technologies in Russia: Regional Aspects. Ekonomika Regiona [Economy of Region]. Vol. 15. No. 3. P. 670— 683. https://doi.org/10.17059/2019-3-4. (In Russ.)
Вельцель К. Рождение свободы /под ред. Понарина Э. Д., Оберемко О. А. ; пер.
с англ. Лисовского А. В. M. : АО «ВЦИОМ», 2018.
Welzel C. (2018) Freedom Rising. Moscow: VCIOM. (In Russ.)
Волченко О. В. Динамика цифрового неравенства в России // Мониторинг общественного мнения: экономические и социальные перемены. 2016. № . 5. C. 163— 182. https://doi.org/10.14515/monitoring.2016.5.10.
Volchenko O. V. (2016) Dynamics of Digital Inequality in Russia. Monitoring of Public Opinion: Economic and Social Changes. No 5. P. 163—182. https://doi.org/10.14515/ monitoring.2016.5.10. (In Russ.)
Девятко И. Ф. Онлайн исследования и методология социальных наук: новые горизонты, новые (и не столь новые) трудности // Онлайн исследования в России 2.0 / под ред. Шашкина А. В., Девятко И. Ф., Давыдова С. Г. M. : РИЦ «Северо-Восток», 2010. С. 17—30.
Devyatko I. F. (2010) Online Research and Methodology of Social Sciences: New Horizons, New (and Not So New) Challenges. In: Shashkin A. V., Devyatko I. F., Davydova S. G. (eds.) Online Research in Russia. 2.0. Moscow: "North-East". P. 17—30. (In Russ.)
Журавлева С. Л. Гендерные эффекты в телефонном интервью // Женщина в российском обществе. 2009. № 4. С. 44—56.
Zhuravleva S. L. (2009) Gender Effects in Telephone Interview. Woman in Russian Society. No. 4. P. 44—56. (In Russ.)
Руднев М. Г. Инвариантность измерения базовых ценностей по методике Шварца среди русскоязычного населения четырех стран // Социология: методология, методы, математическое моделирование (Социология: 4М). 2013. № . 37. С. 7—38. Rudnev M. G. (2013) Measurement Invariance of Basic Human Values Assessed with Schwartz Instrument Among Four Russian-Speaking Populations. Sociology: Methodology, Methods, Mathematical Modeling (Sociology: 4M). No. 37. P. 7—38. (In Russ.)
Соколов Б. О., Корсунова В. И. Нестрогий байесовский подход к проверке допущения об измерительной инвариантности: иллюстрация на примере ценностей выбора //Социология: методология, методы, математическое моделирование (Социология: 4М). 2018. № . 46. С. 7—43.
Sokolov B. O., Korsunova V. I. (2018) Approximate Bayesian Approach to Measurement Invariance: An Illustration with Pro-Choice Values. Sociology: Methodology, Methods, Mathematical Modeling (Sociology: 4M). No. 46. P. 7—43. (In Russ.)
Шиняева О. В., Полетаева О. В., Слепова О. М. Информационно-цифровое неравенство: поиски эффективных практик адаптации населения // Мониторинг общественного мнения: экономические и социальные перемены. 2019. № . 4. C. 68—85. https://doi.org/10.14515/monitoring.2019.4.04.
Shinyaeva O. V., Poletaeva O. V., Slepova O. M. (2019) Information and Digital Inequality: Searching for Effective Population Adaptation Practices. Monitoring of Public Opinion: Economic and Social Changes. No. 4. P. 68—85. https://doi.org/10.14515/ monitoring.2019.4.04. (In Russ.)
Andrade C. (2020) The Limitations of Online Surveys. Indian Journal of Psychological Medicine. Vol. 42. No. 6. P. 575—576. https://doi.org/10.1177/0253717620957496.
Baker R., Brick J. M., Bates N. A., Battaglia M., Couper M. P., Dever J. A., Gile K. J., Tourangeau R. (2012) Summary Report of the AAPOR Task Force on Non-Probability Sampling. Journal of Survey Statistics and Methodology. Vol. 1. No. 2. P. 90—143. https://doi.org/10.1093/jssam/smt008.
Benstead L. J. (2014) Effects of Interviewer — Respondent Gender Interaction on Attitudes Toward Women and Politics: Findings from Morocco. International Journal of Public Opinion Research. Vol. 26. No. 3. P. 369—383. https://doi.org/10.1093/ ijpor/edt024.
Boas T. C., Christenson D. P., Glick D. M. (2020) Recruiting Large Online Samples in the United States and India: Facebook, Mechanical Turk, and Qualtrics. Political Science Research and Methods. Vol. 8. No. 2. P. 232—250. https://doi.org/10.1017/ psrm.2018.28.
Brown T. A. (2015) Confirmatory Factor Analysis for Applied Research. New York, NY: Guilford Press.
Buschmann A. (2019) Conducting a Street-Intercept Survey in an Authoritarian Regime: The Case of Myanmar. Social Science Quarterly. Vol. 100. No. 3. P. 857—868. https:// doi.org/10.1111/ssqu.12611.
Caputo A. (2017) Social Desirability Bias in Self-Reported Well-Being Measures: Evidence from an Online Survey. Universitas Psychologica. Vol. 16. No. 2. P. 245—255. https://doi.org/10.11144/Javeriana.upsy16-2.sdsw.
Chen F. F. (2007) Sensitivity of Goodness of Fit Indexes to Lack of Measurement Invariance. Structural Equation Modeling: A Multidisciplinary Journal. Vol. 14. No. 3. P. 464—504. https://doi.org/10.1080/10705510701301834.
Cohen J. (1992) A Power Primer. Psychological Bulletin. Vol. 112. No. 1. P. 155—159. https://doi.Org/10.1037/0033-2909.112.1.155.
Coppock A., McClellan O. A. (2019) Validating the Demographic, Political, Psychological, and Experimental Results Obtained from a New Source of Online Survey Respondents. Research & Politics. Vol. 6. No. 1. P. 1—14. https://doi.org/10.1177/ 2053168018822174.
Davidov E., Meuleman B., Cieciuch J., Schmidt P., Billiet J. (2014). Measurement Equivalence in Cross-National Research. Annual Review of Sociology. No. 40. P. 55— 75. https://doi.org/10.1146/annurev-soc-071913-043137.
Dijkstra W. (1983) How Interviewer Variance Can Bias the Results of Research on Interviewer Effects. Quality and Quantity. Vol. 17. No. 3. P. 179—187. https://doi.org/ 10.1007/BF00167582.
Evans J. R., Mathur A. (2018) The Value of Online Surveys: A Look Back and a Look Ahead. Internet Research. Vol. 28. No. 4. P 854—887. https://doi.org/10.1108/IntR-03-2018-0089.
Evans J. R., Mathur A. (2005) The Value of Online Surveys. Internet Research. Vol. 15 No. 2. P. 195—219. https://doi.org/10.1108/10662240510590360.
Fowler Jr F. J., Mangione T. W. (1990) Standardized Survey Interviewing: Minimizing Interviewer-Related Error. Newbury Park, CA: Sage.
Greene S., Robertson G. (2017) Agreeable Authoritarians: Personality and Politics in Contemporary Russia. Comparative Political Studies. Vol. 50. No. 13. P. 1802—1834. https://doi.org/10.1177/0010414016688005.
Hargittai E., Walejko G. (2008) The Participation Divide: Content Creation and Sharing in the Digital Age. Information, Communication & Society. Vol. 11. No. 2. P. 239—256. https://doi.org/10.1080/13691180801946150.
Heerwegh D., Loosveldt G. (2002) An Evaluation of the Effect of Response Formats on Data Quality in Web Surveys. Social Science Computer Review. Vol. 20. No. 4. P. 471—484. https://doi.org/10.1177/089443902237323.
Heiervang E., Goodman R. (2011) Advantages and Limitations of Web-Based Surveys: Evidence from a Child Mental Health Survey. Social Psychiatry and Psychiatric Epidemiology. Vol. 46. No. 1. P. 69—76. https://doi.org/10.1007/s00127-009-0171-9.
Himelein K. (2016) Interviewer Effects in Subjective Survey Questions: Evidence from Timor-Leste. International Journal of Public Opinion Research. Vol. 28. No. 4. P. 511— 533. https://doi.org/10.1093/ijpor/edv031.
Horn J. L., McArdle J. J. (1992) A Practical and Theoretical Guide to Measurement Invariance in Aging Research. Experimental Aging Research. Vol. 18. No 3. P. 117— 144. https://doi.org/10.1080/03610739208253916.
Huddy L., Billig J., Bracciodieta J., Hoeffler L., Moynihan P. J., Pugliani P. (1997) The Effect of Interviewer Gender on the Survey Response. Political Behavior. Vol. 19. No. 3. P. 197—220. https://doi.org/10.1023/A:1024882714254.
Inglehart R. (2018) Cultural Evolution: People's Motivations are Changing and Reshaping the World. Cambridge; New York: Cambridge University Press.
Kalinin K. (2016) The Social Desirability Bias in Autocrat's Electoral Ratings: Evidence from the 2012 Russian Presidential Elections. Journal of Elections, Public Opinion and Parties. Vol. 26. No. 2. P. 191—211. https://doi.org/10.1080/17457289.201 6.1150284.
Kane E. W., Macaulay L. J. (1993) Interviewer Gender and Gender Attitudes. Public Opinion Quarterly. Vol. 57. No. 1. P. 1—28. https://doi.org/10.1086/269352.
Kinyondo A., Pelizzo R. (2018) Poor Quality of Data in Africa: What Are the Issues? Politics & Policy. Vol. 46. No. 6. P. 851—877. https://doi.org/10.1111/polp.12277.
Krumpal I. (2013) Determinants of Social Desirability Bias in Sensitive Surveys: A Literature Review. Quality & Quantity. Vol. 47. No. 4. P. 2025—2047. https:// doi.org/10.1007/s11135-011-9640-9.
Kuran T. (1997) Private Truths, Public Lies. Cambridge, MA: Harvard University Press.
Lakens D., Delacre M. (2020) Equivalence Testing and the Second Generation P-value. Meta-Psychology. Vol. 4. P. 1—11. https://doi.org/10.15626/MP.2018.933.
Lakens D., Scheel A. M., Isager P. M. (2018) Equivalence Testing for Psychological Research: A Tutorial. Advances in Methods and Practices in Psychological Science. Vol. 1. No. 2. P. 259—269. https://doi.org/10.1177/2515245918770963.
Lefever S., Dal M., Matthiasdottir A. (2007) Online Data Collection in Academic Research: Advantages and Limitations. British Journal of Educational Technology. Vol. 38. No. 4. P. 574—582. https://doi.org/10.1111/j.1467-8535.2006.00638.x.
Liu M. (2017) Data Collection Mode Differences Between National Face-to-Face and Web Surveys on Gender Inequality and Discrimination Questions. Women's Studies International Forum. Vol. 60. P. 11—16. https://doi.org/10.1016Zj.wsif.2016.11.007.
Matelski M. (2014) On Sensitivity and Secrecy: How Foreign Researchers and Their Local Contacts in Myanmar Deal with Risk under Authoritarian Rule. Journal of Burma Studies. Vol. 18. No. 1. P. 59—82. https://doi.org/10.1353/jbs.2014.0008.
Mei B., Brown G. T. L. (2018) Conducting Online Surveys in China. Social Science Computer Review. Vol. 36. No. 6. P. 721—734. https://doi.org/10.1177/0894439317729340.
Norris P. (2001) Digital Divide: Civic Engagement, Information Poverty, and the Internet Worldwide. Cambridge: Cambridge University Press.
Pham K. H., Rampazzo F., Rosenzweig L. R. (2019) Online Surveys and Digital Demography in the Developing World: Facebook Users in Kenya. ArXivPreprint. October 8. https://doi.org/10.48550/arXiv.1910.03448.
Robinson D., Tannenberg M. (2019) Self-Censorship of Regime Support in Authoritarian States: Evidence from List Experiments in China. Research & Politics. Vol. 6. No. 3. P. 1—9. https://doi.org/10.1177/2053168019856449.
Schuirmann D. J. (1987) A comparison of the Two One-Sided Tests Procedure and the Power Approach for Assessing the Equivalence of Average Bioavailability. Journal of Pharmacokinetics and Biopharmaceutics. Vol. 15. No. 6. P. 657—680. https:// doi.org/10.1007/BF01068419.
Slomczynski K. M., Tomescu-Dubrow I., Wysmulek I. (2021) Survey Data Quality in Analyzing Harmonized Indicators of Protest Behavior: A survey Data Recycling Approach. American Behavioral Scientist. https://doi.org/10.1177/00027642211021623.
Steinmetz H., Schmidt P., Tina-Booh A., Wieczorek S., Schwartz S. H. (2009) Testing Measurement Invariance Using Multigroup CFA: Differences between Educational Groups in Human Values Measurement. Quality & Quantity. Vol. 43. No. 4. P. 599—616. https://doi.org/10.1007/s11135-007-9143-x.
Tourangeau R., Smith T. W. (1996) Asking Sensitive Questions: The Impact of Data Collection Mode, Question Format, and Question Context. Public Opinion Quarterly. Vol. 60. No. 2. P. 275—304. https://doi.org/10.1086/297751.
Tourangeau R., Yan T. (2007) Sensitive Questions in Surveys. Psychological Bulletin. Vol. 133. No. 5. P. 859—883. https://doi.org/10.1037/0033-2909.133.5.859.
Van Selm M., Jankowski N. W. (2006) Conducting Online Surveys. Quality & Quantity. Vol. 40. No. 3. P. 435—456. https://doi.org/10.1007/s11135-005-8081-8.
Villarroel M. A., Turner C. F., Eggleston E., Al-Tayyib A., Rogers S. M., Roman A. M., Cooley P. C., Gordek H. (2006) Same-Gender Sex in the United States: Impact of T-ACASI on Prevalence Estimates. Public Opinion Quarterly. Vol. 70. No. 2. P. 166—196. https:// doi.org/10.1093/poq/nfj023.
Villarroel M. A., Turner C. F., Rogers S. M., Roman A. M., Cooley P. C., Steinberg A. B., Eggleston E., Chromy J. R. (2008) T-ACASI Reduces Bias in STD Measurements: The National STD and Behavior Measurement Experiment. Sexually Transmitted Diseases. Vol 35. No. 5. P. 499—506. https://doi.org/10.1097/0LQ.0b013e318165925a.
Weijters B., Schillewaert N., Geuens M. (2008) Assessing Response Styles Across Modes of Data Collection. Journal of the Academy of Marketing Science. Vol. 36. No. 3. P. 409—422. https://doi.org/10.1007/s11747-007-0077-6.
Welzel C. (2011) The Asian Values Thesis Revisited: Evidence from the World Values Surveys. Japanese Journal of Political Science. Vol. 12. No. 1. P. 1—31. https:// doi.org/10.1017/S1468109910000277.
West B. T., Blom A. G. (2017) Explaining Interviewer Effects: A Research Synthesis. Journal of Survey Statistics and Methodology. Vol. 5. No. 2. P. 175—211. https:// doi.org/10.1093/jssam/smw024.
Yang M. L., Yu R. R. (2008) The Interviewer Effect When There Is an Education Gap with the Respondent: Evidence from a Survey on Biotechnology in Taiwan. Social Science Research. Vol. 37. No. 4. P. 1321—1331. https://doi.org/10.1016/j.ssresearch. 2008.05.008.
Zhang B., Mildenberger M., Howe P. D., Marlon J., Rosenthal S. A., Leiserowitz A. (2020) Quota Sampling Using Facebook Advertisements. Political Science Research and Methods. Vol. 8. No. 3. P. 558—564. https://doi.org/10.1017/psrm.2018.49.
Zhou Y. J., Tang W., Lei X. (2020) Social Desirability of Dissent: An IAT Experiment with Chinese University Students. Journal of Chinese Political Science. Vol. 25. No. 1. P. 113—138. https://doi.org/10.1007/s11366-019-09628-9.
