CC BY
31
УПРАВЛЕНИЕ СИСТЕМАМИ В МАРКЕТИНГЕ И МЕНЕДЖМЕНТЕ
Для цитирования: Епархина О.В. Стандарты качества социологического исследования в условиях цифровизации: анализ международного и отечественного опыта // Управление в современных системах. 2022. №2. С. 55-60.
DOI: 10.24412/2311-1313-34-55-60 ББК 6/8 УДК 303.68
СТАНДАРТЫ КАЧЕСТВА СОЦИОЛОГИЧЕСКОГО ИССЛЕДОВАНИЯ В УСЛОВИЯХ ЦИФРОВИЗАЦИИ: АНАЛИЗ МЕЖДУНАРОДНОГО И ОТЕЧЕСТВЕННОГО ОПЫТА
Епархина О.В.1, ФГБОУ ВО «Ярославский государственный педагогический университет
им. К.Д. Ушинского»
Аннотация
Социологическая информация является основой для принятия управленческих решений в социально-экономической системе любого уровня. В условиях цифровизации и использования онлайн-технологий в социологических исследованиях, особенно телефонных опросах, становится актуальной проблема качества информации, ее соответствия международным стандартам. Цель работы - рассмотреть документы, регламентирующие качество работы исследователя, осветить проблемы качества социологической информации, пути их решения.
Ключевые слова: онлайн исследования, репрезентативность, этические нормы, цифровизация, стандарт исследования общественного мнения, телефонный опрос.
Введение
Современные технологии управления социальными системами в качестве обязательного компонента предполагают использования обратной связи, что реализуется в том числе в системе постоянных социологических опросов мониторингового характера либо ad hoc проектов. Социологическая информация является основой для принятия управленческих решений в социально-экономической системе любого уровня - от регионального и общенационального до уровня предприятия или организации. Социолог выступает с одной стороны в качестве эксперта-консультанта, с другой стороны является поставщиком уникального продукта - информации, имеющий коммерческий характер и обладающей экономической ценностью. В связи с этим происходит рост требований к качеству информационного продукта, представляемого социологом. Речь идет о репрезентативности информации, ее полноте, валидности и ряде других характеристик.
Следует отметить, что управленческие решения подразумевают использование нескольких видов социологической информации. Анализ источников позволяет выделить следующие ее разновидности: результаты опросов общественного мнения, оценки
1 Епархина Ольга Валерьевна - кандидат политических наук, доцент кафедры социологии и политологии ФГБОУ ВО «Ярославский государственный педагогический университет им.К.Д. Ушинского», Россия, 150000, г. Ярославль, ул. Республиканская, д.108/1, e-mail: gelaq@mail.ru; SPIN-код: 7475-3876, AuthorID: 318613.
эффективности органов управления различного уровня, информация о структуре доходов и расходов и бюджете семей, оценка качества социальных услуг, оценки качества инфраструктуры, рейтинги доверия к власти, оценка информационной среды и ряд других. В недавнем прошлом минимальные информационные массивы собирались в России за счет социологических опросов и сбора базовой социально-экономической статистики силами Росстата. Однако на сегодняшний день поле используемых источников расширилось, все чаще органы управления используют нетнографию, анализ интернет-следов, трекинг покупателей, оценки качества госуслуг, предоставляемых через многофункциональные центры, различные виды анализа медиа. Это связано с изменением качества самих систем управления, которые, с одной стороны, получают технические возможности аккумулировать и использовать различные информационные потоки, а с другой стороны, нацелены на формирование устойчивых сообществ на территории; но также эти изменения связаны и с изменением информационной среды, цифровизацией экономики и органов управления.
Таким образом, валидные и репрезентативные социологические данные являются базовым условием функционирования системы в целом.
Основная часть
В связи с беспрецедентно ускоряющимся переходом прикладной социологии в сферу онлайн-исследований происходит практически полная трансформация инструментария социологического исследования. Эта тенденция начала проявляться со второго десятилетия текущего века, набрала обороты в 2014-2016 гг., а 2020 г. принес невиданное ускорение этого процесса. Подавляющая доля методов испытала серьезные изменения в связи с уходом в интернет-среду: все опросные методы, качественные исследовательские стратегии и кейс-стади, наблюдение, эксперимент, контент-анализ. Эти изменения привели к необходимости качественного пересмотра стандартов проведения и оформления исследования с учетом как расширения возможностей достижимости респондентов за счет интернета, так и роста нарушений приватности и нерепрезентативности информации. Проблемными зонами исследований на сегодняшний день можно считать следующие: критерии оценки качества, транспарентность данных, проблемы соотнесения генеральной совокупности и выборки, неответы, измерение, проблемы приватности личности, пользовательских соглашений и адекватности этических руководств в условиях цифровизации [Оценка качества..., 2017].
В настоящее время можно говорить об использовании в российской практике исследований целого ряда документов, определяющих различные параметры качества социологического исследования: Кодекс социолога, Кодекс социолога РОС, Кодекс МСА, Кодекс ESOMAR, Кодекс CASRO, Стандарты ОИРОМ. Однако многообразие источников зачастую ведет к пересечениям и несоответствиям, необходимо их обновление. Наиболее интересны в этом отношении Методические рекомендации AAPOR-ВЦИОМ, где речь идет о двух важных стандартах.
Первым является подборка стандартных определений от AAPOR. Такой стандарт международные социологические ассоциации на сегодняшний день рекомендуют использовать не только для повышения качества проведения опросов, но и в качестве критерия для отбора и публикаций статей в социологических журналах. Создатели этого стандарта придерживаются идеи, что хорошо проведенный опрос по сути является протоколированным бизнес-процессом. Первое издание стандартов появилось еще в 1998 г.
Р. Гроувс выделяет 3 группы ошибок, наиболее сильно сказывающихся на качестве опроса: неполнота охвата генеральной совокупности, эффекты измерения, когда опросный инструмент приводит к получению ненадежных или невалидных данных, а также эффекты неответов [Ипатова и др., 2016].
Эти ошибки отчасти можно исключить путем использования диспозиционных кодов. Предлагается целостный способ описания окончательных состояний элементов выборки и подсчета коэффициентов результативности телефонных личных и почтовых интервью. Коды стандартизируются во всех опросах, все зависимости от того, кто их проводит - частный
сектор, государство или научные учреждения. Это позволяет найти единые основания для сравнения коэффициентов результативности. Базовые формулы для расчета таких коэффициентов разработаны CASRO еще в 1982 г. Этот стандарт описывает четыре вида выборочных исследований: телефонные опросы со случайным отбором, личные интервью по месту жительства, почтовые опросы по экспертной выборке, аналогичные онлайн опросы. Также рассмотрены опросы комбинированного типа. Однако дальнейшее развитие телекоммуникационных технологий в практике опросов потребует расширения списка таких кодов; пока не существует коэффициента, который бы полностью отражал качество опроса [Ипатова и др., 2016].
Стандарт позволяет унифицировать методики работы с завершенными и незавершенными интервью, решать проблемы неответов и невернушихся анкет, несоответствия критериям отбора при рекруте респондентов онлайн и т. д. Определены стандарты качества интернет-панелей со случайным отбором респондента, определения коэффициента участия в интернет-панелях с неслучайным отбором респондентов, представлен вариант оценки качества потоковых выборок. Основные проблемы при проведении опроса в организации представлены следующими: проблема выборки из списка организаций, в частности двухэтапная со скринингом, использование организации как единицы отбора, работа с организациями, где нет подходящего информанта, использования различных анкет в рамках одной организации и т. п. определяются правила работы со смещениями. Также особую проблему представляют исследования комплексного дизайна (дизайн выборки с неравной вероятностью отбора, дизайн с многошаговым отбором, двухфазовый дизайн).
Вторым документом является отчет AAPOR по новым технологиям, используемым в социологических опросах. В данным документе отражены основные проблемы и отчасти пути их решения, связанные с изменением техносреды опросов. Подобные отчеты уже публиковались в 2013 г. и 2010 г., однако мир выборочных опросов меняется как никогда быстро, и необходимо постоянно отслеживать изменения. В целом проблемы связаны с охватом генеральной совокупности, фактором неответов, с измерением, либо с длительностью полевого этапа, использованием вознаграждения для стимулирования участников и т. п. [Силаева и др., 2017].
Кроме того, особое внимание в документе отводится роли социальных медиа в опросах, дающих исследователям новые инструменты для сбора данных и альтернативные источники как количественной, так и качественной информации, что позволяет улучшить традиционные методы сбора данных, а иногда полностью их заменить. Однако это приносит новые проблемы - технологические, статистические, методологические и этико-правовые, которые еще предстоит изучать.
Кроме того, это расширяет диапазон методов анализа данных. Например, становится возможен сетевой анализ мнений, настроений и поведения респондентов без рекрута и интервьюирования, исключительно через расширенный сетевой отбор.
Особый интерес представляет то, что в данном случае меняется единица анализа: ею перестают выступать люди, как в классическом опросе. Это ведет к изменению методов анализа данных. В основном задача аналитика теперь сводится к анализу текстовых данных путем написания алгоритмов интеллектуального анализа. Специалисты по моделированию естественных языков и лингвисты создают текстовые классификаторы для выявления глубинных текстовых структур посредством приемов разведочной визуализации крупных массивов данных или качественных наблюдений [Силаева и др., 2017].
Поскольку подавляющая доля методов испытала серьезные изменения в связи с уходом в интернет-среду, изменились и принципы отбора респондентов для телефонных опросов, а также техники их проведения. Это вызвало к жизни ряд проблем, часть из которых уже довольно успешно решается, а часть остается предметом острых дискуссий социологов-методологов.
Традиционный телефонный опрос предполагал исключительное использование телефона, но сейчас он применяется и для рекрута, отбора, а не только опроса респондента [Оберемко и др., 2018]. Это и отличает современный телефонный опрос от классического и дает основания считать, что телефон еще довольно долгое время будет считаться ключевым средством проведения опросов, особенно в отдаленных районах [Fowler, 2016].
В современных условиях он используется для выбора основы выборки и формирования выборки, для рекрутирования респондентов, установления контакта и согласия, а также сбора данных [Brick, 2017].
Можно выделить ряд проблемных моментов, связанных с этими технологиями:
- проблема охвата совокупности [Силаева и др., 2017], отчасти она решается за счет формирования основы выборки по телефонным номерам и генерации номеров [Оберемко и др., 2018];
- проблема используемых баз [Оберемко и др., 2018]., отчасти проблема решается за счет автоматизированного формирования баз и их автоматизированной чистки;
- проблема качественного рекрута и связанных с ним неответов [Fowler, 2016], приемлемого технического решения проблема пока не имеет;
- проблема contactability. [Fowler, 2016], в основном проблема решается за счет чистки баз и повышения качества работы интервьюеров.
Одним из способов решения вышеуказанных проблем могут стать комбинированные опросы (с разными основами выборки), процедуры взвешивания данных по переменным, имеющих высокую корреляцию с ключевыми показателями опроса, а также подсчет базовых весов, учет дизайна выборки [Dillman etc all, 2014].
Отдельной проблемной зоной выступают техники сбора данных. Они могут быть связаны с множеством факторов: с качеством работы интервьюера, местонахождением респондента, качеством звука, техническим средством проведения [Будущее исследований ..., 2018]. Универсального алгоритма решения такого рода проблем быть не может.
Часть проблем может быть решена за счет так называемых улучшенных выборок, представляющих собой вычищенные выборки с заранее исключенными непродуктивными номерами (проставление так называемых флажков активности на номера с разной интенсивностью ответов) [Оберемко и др., 2018] и с подсчитанным нетто-коэффициентом. Однако, как показывает зарубежная практика, существенного прироста качества опроса и репрезентативности данных они не дают [Reconnect research., 2018].
Кроме того, в современных условиях затруднен целевой отбор номеров по территориям [Силаева и др., 2017]. Это связано с тем, что подавляющее большинство проверенных и дающих репрезентативные данные моделей телефонных опросов строились на выборке из стационарных телефонных номеров, в то время как сейчас используются либо комбинированные базы из стационарных и мобильных номеров, либо мобильные базы. По наблюдениям исследователей, абоненты, пользующиеся только мобильной связью, чаще отвечают на звонки, нежели те, кто пользуется и мобильной, и стационарной связью.
Поэтому по мере того, как доля абонентов только мобильной связи будет расти среди всей совокупности абонентов мобильной связи, уровень контактов в мобильной выборке также вырастет.
Заключение
Таким образом, развитие систем онлайн опросов ставит множество новых вызовов, и эти проблемы и в международной, и в отечественной практике решаются только частично и крайне медленно, хотя пути их решения уже намечены. В ближайшие годы можно говорить о нескольких тенденциях в указанной сфере: переход к двухосновным выборкам как наиболее распространенной практике отбора, распространение нетнографических методов, использование интернет-панелей, кодирования, разработка методик отсеивания профессиональных респондентов, разработка новых типов приватности, расширение пространства социальных медиа, используемых для сбора и анализа социологических
данных. В ближайшие несколько лет можно говорить об актуализации в отечественном исследовательском пространстве принципиально новых этических, технологических и правовых норм проведения исследования, максимальной регламентации исследовательских процедур и приведение большинства из них к типовым алгоритмам. Основными причинами этих изменений будут являться требования к информации, предъявляемые со стороны систем управления, предполагающие возможность автоматизированной проверки качества исследования через его соответствие алгоритму проведения. Кроме того, учитывая возрастающую роль подобной информации в сфере социально-экономического управления можно говорить о систематизации требований к исследователю со стороны заказчика, и здесь с большой долей вероятности можно говорить о распространении международных стандартов.
Что касается телефонных опросов, в ближайшей перспективе можно отметить следующие тенденции развития общенациональных телефонных опросов как в зарубежной, так и российской практике: распространение технологии RDD [AAPOR, 2016]; использование вспомогательных данных [Оберемко и др., 2018]; использование вероятностных выборок; привлечение интервьюеров к отбору респондентов, работа по формированию алгоритмов поиска причин смещений, вызванных неответами [McGeeney etc all, 2016]; использование процедуры взвешивания в качестве обязательной [Samdal etc all, 1992]. Максимальная автоматизация телефонных опросов как на общенациональном, так и на региональном уровне приведет к формированию подхода к телефонным опросам как к бизнес-процессу и его строгой регламентации.
Безусловно, указанные тенденции изменят сферу социологических исследований с точки зрения ее отраслевых характеристик, изменят качество количественной информации, однако вопрос об изменениях в качественной информации пока остается открытым.
Список источников
1. AAPOR. Standart definitions: final dispositions of case codes and outcome rates for survey. 9th edition AAPOR. Ann Arbor. MI. 2016. 88 p.
2. The American association for public opinion research 2015. Standard definitions: final dispositions of case codes and outcome rates for surveys. 8th edition AAPOR. 2015. 84 p.
3. Brick J.M. and others. Nonsampling errors in Dual Frame Telephone Surveys. Survey Methodology. Vol.37.No1. P.1-12.
4. Dillman D., Smyth J., Christian L. (2014) Internet, Phone, Mail and Mixed - Mode Surveys. Hoboken, NJ: Wiley and Sons. 2014. 84 p.
5. Elliot M.R., Little Roderick J.A., Lewitsky S. Subsampling Callback to improve Servey Efficiency// Journal of American Statistical Association. 2000. 95. P.730-738.
6. Fowler Jr. etc. Reducing Nonresponse Error in a telephone SurveyA An informative case study. Journal of survey statistics and methodology. 2016. Vol.4 Iss.2. P.246-262.
7. McGeeney C., Kennedy C. А next step in the evolution of landline sampling: evaluation the assignment-based frame. Journal of survey statistics and methodology. 2016. Vol.4 No.4.
8. Samdal C., Swensson B., Wretman J. Model assisted survey sampling. New York: Springer. 1992.154 p.
9. Будущее исследований населения США посредством общенациональных телефонных опросов / Американская ассоциация исследователей общественного мнения; под ред. О.А. Оберемко; пер. с англ. Г. В. Маткаримовой, А. Ю. Станевич, О. Н. Шаевой, Т. А. Валиулиной, А. О. Тропкиной, М. А. Харитоновой. М.: АО «ВЦИОМ», 2018. 98 с.
10. Епархина О.В. Перспективы формирования стандартов качества политических опросов в условиях цифровизации// Россия и политический порядок в меняющемся мире: ценности, институты, перспективы: Материалы IX Всероссийского конгресса политологов, Москва, 16-18 декабря 2021 г. / Под общ. ред. О.В. Гаман-Голутвиной, Л.В. Сморгунова, Л.Н. Тимофеевой. - М.: Издательство. Аспект Пресс., 2021. С. 73-75.
11. Епархина О.В., Титова Л.Г., Яшков А.Б., Юдин В.В. Методология и методика исследования работника в свете обеспечения социального потенциала устойчивого развития территории//Современное общество в условиях социально-экономической неопределенности». XV Международная научная конференция «Сорокинские чтения»: Сборник материалов. - Москва: МАКС Пресс, 2021. С.236-238.
12. Епархина О.В. и др. Социальные механизмы устойчивого развития// Фундаментальные и прикладные проблемы психологии и педагогики образования: результаты исследований научных лабораторий НЦ РАО при ЯГПУ, 2018-2020 гг.. под науч. ред. Л.В. Байбородовой. Ярославль: Издательство: Ярославский государственный педагогический университет им. К.Д. Ушинского, Ярославль, 2021.
13. Оценка качества опроса в сложных реалиях сегодняшнего дня. Социальные медиа в исследовании общественного мнения: отчет рабочей группы AAPOR о новых технологиях в исследовании общественного мнения / Американская ассоциация исследователей общественного мнения; пер. с англ. В. Л. Силаевой, О. А. Оберемко. М.: АО «ВЦИОМ», 2017. 78 с.
14. Стандартные определения: систематическое описание диспозиционных кодов и коэффициентов результативности для массовых опросов / Американская ассоциация исследователей общественного мнения; пер. с англ. А.А. Ипатовой, Д.М. Рогозина. 8-е изд. М.: АО «ВЦИОМ», 2016. 88 с.
QUALITY STANDARD OF SOCIAL RESEARCH IN DIGITALIZATION: RUSSIAN
AND INTERNATIONAL PRACTICES
Eparkhina O.V., Yaroslavl State Pedagogical University named after K.D. Ushinsky
Abstracts
Social data is a base of managerial decisions in every levels of social- economic system. Quality social data are very useful as a product for market. But quality social data are very important for system's analysis of economic well-being. When digitalization gone and we are going to use online technology in social research the problem of social research quality became actual more and more. But it makes some problems, which have a good decision. A capacity to provide quality of research given by international standards, which are going to keep a lot of research organizations, but these standards are not a norm for Russian academic sociology and for engineering social research. Specific requirements put in general population telephone survey research by online technology.
Keywords: online research, representation, ethic norms, digitalization, standardfor public opinion research, telephone survey research.
