CC BY-NC-ND
62
ДИСКУССИИ
Д. М. Рогозин
Соломенные мельницы российской социологической экспертизы
Ответ на реплику Н. С. Бабича
ж
Л =74
Ж
РОГОЗИН Дмитрий Михайлович —
кандидат
социологических наук, старший научный сотрудник Института социологии ФНИСЦ РАН, заведующий лабораторией методологии социальных
исследований Института социального анализа и прогнозирования РАНХиГС при Президенте
Российской Федерации. Адрес: Россия, 119034, г. Москва, Пречистенская наб., д. 11, оф. 404.
Email: [email protected]
Статья представляет собой отклик на развёрнутую реплику Николая Бабича о статье «Критика опросного подхода к анализу взаимного сходства во внешнем виде потребительских продуктов внутри одной товарной категории», опубликованной в журнале «Экономическая социология» (2018. 19 (2): 86-117). Обозначены базовые проблемы текущего состояния социологической экспертизы в России и предложены варианты методической работы, направленной на извлечение опыта из сформированного договорного порядка установления научной истины.
Объектом критики в данной статье выступают методы и процедуры проведения сформировавшейся в России закрытой социологической экспертизы. Последней присущи отсутствие критической позиции по отношению к собственной деятельности, неопределённость границ применяемых методов, игнорирование международного опыта и непубличность методологии и методики.
Дляразрешения перечисленных проблем в российском поле социологической экспертизы Д. Рогозин предлагает социологическому сообществу активизироваться в трёх направлениях: проводить когнитивный анализ опросных инструментов, укоренившихся в судебной практике, воссоздавать экспериментальные планы с анализом реализуемых выборок и организовывать институциональный анализ социологической экспертизы.
Ключевые слова: методология социальных исследований; неслучайные выборки; опросный инструмент; научная истина; опт-ин онлайн-панели; социологическая экспертиза; фальсификации; фабрикации.
В октябре 2018 г. в Москву приезжала Ольга Каменчук. В недавнем прошлом — профессор МГИМО, топ-менеджер ВЦИОМ. Теперь — директор по международным исследованиям ВЦИОМ, доцент Школы стратегических коммуникаций Университета штата Огайо (США), научный сотрудник Центра Мершона по исследованиям в сфере международной безопасности (США). Читала лекции о международных этических стандартах в социальных исследованиях, гуляла по Москве, встречалась с друзьями и коллегами. Много было позитива, но одна реплика, попавшая в ленту Facebook, была пропитана горечью, если не сказать негодованием, столь несвойственными всегда радушной и доброжелательной Ольге. Эта реплика о российских учёных, самозабвенно зарабатывающих деньги наукой, со своей правдой и гордостью, со своим знанием:
Сегодня с серьёзным лицом слушала, как один джентльмен говорил, что у него в бизнесе всё офигенно с интернет-исследованиями — всё самое передовое. При этом понятия не имел, что такое вероятностные и невероятностные выборки (?!), а также гордо дважды произнёс river sampling — как один из примеров передовой практики своего бизнеса.
Вчера другой джентльмен всерьёз оперировал выводами о взглядах молодёжи на опросе 100 студентов своего университета — строил индексы (уж как смог), ранжировал и т. п., а также призывал американских коллег присоединяться и делать компаративы.
Также вчера меня третий коллега спросил, почему в Россию так трудно привозить американских учёных на разнообразные мероприятия. Я не знала, как ответить, чтобы не обидеть, — начала, было, но потом съехала с темы; человек мне симпатичен, и не хотелось расстраивать честностью.
А сейчас, подводя итоги этой поездки и размышляя над наблюдениями прошедшей недели, задалась вопросом: а мне-то эти соломенные мельницы зачем?
По всей видимости, мы слишком долго не высказывались прямо, пытались никого не обидеть, не задеть, всем вежливо улыбнуться.
Николай Бабич ошибается, приписывая нам надменную позицию, уничижающую социальный статус социологической экспертизы, которая никогда не была чем-то «отсталым, периферийным и нуждающимся в цивилизованном вмешательстве» [Бабич 2019: 189]. Напротив, перед нами современная, ангажированная, защищённая статусами и деньгами позиция большой экспертности. Потому наш дискурс не стигматизирует, а обличает.
Что происходит?
В далёком 1936 г. эра «соломенных опросов» журнала «The Literary Digest» в США была преодолена через столкновение с жёсткими политическими реалиями [Батыгин 2008: 208-209]. На кону стояли прогнозы президентских выборов, и качество инструмента определялось внешними, не зависящими от исследователей исходами. Другими словами, «соломенные опросы» претендовали на моделирование политического выбора, а не замещали его моделями и конвенциональными решениями. Стал возможен провал предвыборного прогноза, открывший новую эру развития случайных выборок. В отношении социологической экспертизы на рынке товарных знаков внешняя валидность пущена под нож. Сама экспертная работа мыслится как система конвенций и договорённостей, направленных на урегулирование правового конфликта в интересах одного из его участников, заказчика той самой экспертизы.
<.. .> У коммерческого арбитража в широком смысле может быть отличающаяся от науки институциональная логика, ориентированная не только на установление истины, но и на разрешение конфликтов, когда установление истины является лишь одним из инструментов. И тогда получается, что для урегулирования конфликтов важна не только методическая строгость социологических исследований, но и их доступность для понимания. Потому что относительно более сложные научные методы, даже лучше обеспечивая истину, оставляют большее поле для конфликта [Бабич 2019: 191].
У коммерческого арбитража может быть другая логика, но у социологической экспертизы логика остаётся неизменной, подчинённой требованиям научного вывода. Иначе странными выглядят ссылки на экспертизу, упоминания через предложение об объективности, научности, непредвзятости извлекае-
мых знаний. Рассмотрение истины как одного из инструментов урегулирования конфликтов — одного из — открывает широкие возможности для манипуляций, договорных, конвенциальных, инструментальных способов установления удобной и бесконфликтной правды. Возможно, такой способ обращения с истиной уместен в юридическом поле, но недопустим в поле социальных исследований, важнейшим требованием к которому является не простота, а прозрачность процедуры и обоснованность научного вывода.
Договорная истина имеет свою стоимость и репутацию. Отсюда попытка перевести разговор из режима методического разбора в выяснение отношений. Если в научном сообществе репутация определяется точностью методических описаний и готовностью в деталях разбирать допущенные ошибки, вплоть до признания несостоятельности предлагаемых гипотез и теоретических суждений (см. описание общей ошибки: исследования — доминирующей методологической парадигмы последних десятилетий [Шетег et а1. 2017]), то в сложившемся пуле экспертов репутация состоит из объёмов проведённых работ, выигранных дел, юридической практики, полученных одобрений и разработанных «новых» подходов, новизна которых зачастую ограничивается заголовочной речью. Другими словами, репутация российского эксперта от социологии — это набор регалий, званий и выигранных арбитражных дел.
Так создаются метод эталона, репрезентативная выборка на опт-ин панелях, рассчитываются случайные ошибки на неслучайных выборках, доказывается необходимость затянутых, перегруженных профессиональной терминологией, не воспринимаемых никем, кроме юристов, формулировок анкетных вопросов. Затем полевая документация сводится до пересказа азбучных истин, написанных для простых случайных выборок. И, наконец, полностью игнорируется ключевое различие между спроектированным и реализованным опросными дизайнами как основы для методической рефлексии в построении метода. Эталонирование, унификация и профанизация научного метода — основное кредо, позволяющее проводить социологическую экспертизу на коммерческих условиях, кредо, невольно прозвучавшее в ответной реплике Н. Бабича.
Однако основная проблема лежит не в содержательной, а в этической плоскости. Моя критика относится к отчётам, докладам и экспертным заключениям, производимым подразделением по социологической экспертизе Института социологии. Подавляющее большинство этих документов непубличны, закрыты. Их адресат — не профессиональное сообщество, а судебные и административные инстанции. Это и есть базовое нарушение этического кодекса профессиональных исследователей: вывод за пределы критики методологической и методической составляющей своей работы (см.: [Американская ассоциация... 2016]). Претензия к Лаборатории социологической экспертизы ФНИСЦ РАН состоит не в том, что в ней производятся артефакты и методические подлоги, а в том, что они выведены из публичного обращения, недостижимы для академического сообщества.
Показательно, что единственный вопрос Бабича, связанный с представленным мною и Романом Бу-магиным экспериментальным планом, оценивает результативность или эффективность проделанной работы: «Возникает вопрос: почему для получения столь тривиального вывода — о сходстве сходных бутылочек ополаскивателя — потребовалась какая-то особая, якобы новаторская, для социологической экспертизы методика? Неужели в обычном опросе, который авторы по умолчанию считают методически неполноценным, результат был бы иным?» [Бабич 2019: 192].
Ответить на этот вопрос просто: «новаторство» на рынке социологической экспертизы заключается не в полученном результате или предложенной процедуре, а в её описании, в раскрытии исходных положений, в транспарентном представлении методических решений. Мы не создаём эталон, а предлагаем коллегам поле для критики метода, соотнесения своих допущений и гипотез с допущениями и гипотезами, представленными в экспериментальном плане. Мы не создаём новое, а лишь следуем
базовым этическим нормам опросной индустрии [Американская ассоциация... 2016]. Призываем не к одобрению, а к опровержению и уточнению полученных экспериментальных выводов и заключений. Антипод нашей позиции — это ориентация на результат, единообразный, унифицированный под давлением внешних обстоятельств или договорённостей, и полное игнорирование методических оснований экспертизы.
Именно поэтому публикация Николая Бабича — значимое событие. Я прошу читателя внимательно, с ручкой, проследить за вязью аргумента, представленного в статье, отметить места проектируемой иронии, конструирование собственной позиции знатока методологии, переключение внимания с методического дискурса на дискурс статуса и власти — создание фигур умолчания в сфере методических решений, допущений, базовых посылок.
За желанием защититься, указать на недостатки проделанной нами работы, уличить в колониальном дискурсе скрываются правила и нормы уже сформировавшегося института закрытой социологической экспертизы.
Итак, на чём держится экспертность российских экспертов от социологии?
Во-первых, на отсутствии критической позиции по отношению к собственной деятельности. Ошибки рассчитываются только в одном случае — в номинальном показе случайной ошибки выборки при неслучайных способах отбора, что, само собой, представляет грубейшую методическую ошибку. Подобную позицию отстаивания своей безупречности социологические эксперты ожидают и от нас. Но этого не будет. Мы готовы разбирать ошибки и уточнять первоначальные гипотезы, разбираться в промахах процедуры, пересматривать теоретические основания экспертных заключений. Готовы ли они?
Во-вторых, границы предлагаемых методов не определены. Методам приписываются всеобщность и объективность, не подлежащие методическому анализу и критике. Иначе чем объяснить полное отсутствие методических описаний реализованных выборок, проверки внутренней и внешней валидности полученных результатов? Эти последние приобретают статус договорных истин, задача которых доказать непогрешимость одной стороны, выступить аргументом в суде, доказать правду стороны заказчика. Когда нет границ применимости метода, основным критерием становится себестоимость и производительность труда. По всей видимости, отсюда повальное увлечение онлайн-панелями, передача ведения полей сторонним организациям с полным отсутствием собственного контроля за процедурами сбора и обработки данных. А если контроль был, то где многостраничные методические отчёты, научные публикации и дискуссии?
В-третьих, безразличие к международному опыту, игнорирование не только современных, но и давно ушедших в прошлое, ставших каноническими методических процедур. Это и есть местечковость и туземность базовых установок, о которой не устаёт говорить Николай Бабич, тем самым занимаясь самоизобличением. Когда научная истина теряет свою универсальность, она утрачивает и отношение к науке. Универсальность, а не унификация и объективация знания есть один из принципов научного этоса по Роберту Мертону. Универсальность принадлежит не методу и процедуре, а правилам раскрытия информации, базовым установкам по обращению с полученными результатами. Напротив, метод и процедура в нормальных, типовых условиях подвергаются критике и постоянному уточнению, что сужает границы их применения, обозначает условия для получения надёжных и валидных выводов.
Но самый главный, четвёртый, пункт — абсолютная, осознанная и проектируемая непубличность, нетранспарентность, неоткрытость методологии и методики проводимых социологических экспертиз.
Нет смысла продолжать полемику, упражняться в подборе выражений. Ольга Каменчук уже сделала свой выбор — отказалась от каких-либо разговоров с российскими проводниками «единственно верных и эффективных» процедур. Единственная возможность высказываться по существу — это начать рассматривать производство социологической экспертизы как объект для исследования, социальную реальность, подлежащую тщательному анализу с помощью этнографических наблюдений или методического аудита [Рогозин et а1. 2016].
Объект моей критики — не эксперты, а методы и процедуры. Так не будем же смещать его в сторону персоналий.
Что делать?
Весной 2018 г. мне посчастливилось побывать в Китае. В составе большой делегации исследователей-аграрников в течение двух недель мы путешествовали по стране, спорили с китайскими коллегами, выступали на конференции, разговаривали с учёными, бизнесменами, партийными деятелями. В одном из таких разговоров профессор Пекинского аграрного университета как-то обмолвился, что русские дали Китаю очень много, что текущий экономический рост обусловлен в том числе тщательным изучением российского опыта, наблюдением за социальными и экономическими трансформациями в нашей стране: «Вы, русские, удивительный народ в своих крайностях. Вы доводите до предела, до границ абсурда любое начинание, показываете на практике, как нельзя делать, к чему приводит последовательное воплощение ошибочных решений. Учиться у вас — одно удовольствие, поскольку ни одна нация не готова идти до конца в своих ошибках».
Я вижу по меньшей мере три направления исследовательской активности для студентов, аспирантов, научных сотрудников, проявляющих интерес к методологии социальных исследований.
Во-первых, провести когнитивный анализ опросного инструмента, позиционируемого как объективное и надёжное средство производства юридического факта, вошедшее в судебную практику и принятое в качестве доказательства правоты одной из конфликтующих сторон. Начать можно с блока вопросов по оценке степени смешения с оригиналом, который мы приводили в первоначальной статье, послужившей поводом для дискуссии (см.: [Бумагин, Рогозин 2018: 90]). В качестве метода тестирования вполне сгодится когнитивное кодирование или когнитивное интервью [Рогозин 2000], в которых регистрируются вербальные проявления непонимания, ошибок референции и интерпретации вопросных конструкций, формирование неадекватного экспертного суждения.
Далее можно запросить материалы социологических экспертиз или внимательно просмотреть материалы вебсайта лаборатории (http://socexpertiza.ru), выделяя лишь приведённые анкетные вопросы (их можно обнаружить, например, в докладах). И здесь возникает огромное поле для методического анализа, поиска ошибок измерения. Приведу лишь некоторые общие формулировки, выдаваемые за надёжные и валидные средства установления сходства торговых марок:
Как вы полагаете, целевое назначение услуг (приводится точное юридическое наименование услуги), например, таких как (приводятся названия услуг, не менее трёх-четырёх), и целевое назначение услуг розничных магазинов одинаковы или различны?
1. Одинаковы
2. Различны
99. Отказ от ответа
Как вы считаете, услуги (приводится точное юридическое наименование первой услуги) или (приводится точное юридическое наименование второй услуги), или (приводится точное юридическое наименование третьей услуги) и услуги розничных магазинов относятся к одному и тому же виду деятельности или к различным?
1. Один и тот же вид деятельности
2. Разные виды деятельности 99. Отказ от ответа
Как вы полагаете, целевое назначение услуг агентств по коммерческой информации, предоставляемых под данным обозначением (демонстрируется карточка), и целевое назначение услуг розничных магазинов, интернет-магазинов одинаковы или различны?
1. Одинаковы
2. Различны
99. Отказ от ответа
И не нужно спешить представлять себя отвечающим на такие вопросы. Достаточно сформировать экспериментальную группу и записать на аудио или видео встречные вопросы, уточнения и уклонения от ответов, связанные со столь странным для обыденного сознания подходом, скорее, напоминающим мероприятия по формированию мнений, нежели беседу с рядовым потребителем тестируемых услуг.
Во-вторых, нужно воссоздать локальные экспериментальные планы с анализом спроектированной и реализованной выборок в опт-ин панелях — основном опросном инструменте социологической экспертизы последних лет. В этом случае методическая ситуация сложнее. Требуется либо договорённость с держателем панели о полном раскрытии сопутствующей информации (параданных) (см. подробнее: [КгеШ^г 2013; Ипатова 2014; Мавлетова 2017]), либо организация собственной локальной панели, позволяющей оценить уровень ошибок репрезентации. История долгая, но вполне заслуживающая внимания, поскольку неслучайные выборки уже давно вытеснили случайные по своему объёму и распространённости в исследовательских средах [Бейкер et а1. 2016] и требуют пристального внимания и экспериментальной работы. Начать её можно с запроса к Лаборатории социологической экспертизы ФНИСЦ РАН о предоставлении нескольких полных отчётов по проведённым исследованиям. Анализ уже этих документов может дать богатую информацию для обозначения основных методических прорех российских экспертов.
Наконец, в-третьих, следует организовать институциональный анализ социологической экспертизы, задаться вопросами о том, как происходят легитимация, правовое обеспечение, научная аргументация в поле конструирования юридического факта взаимного сходства торговых марок. Для этого весьма полезно выделить основные роли, исполняемые социологическими экспертами, их ближайшим профессиональным окружением, и связанные с ними ключевые наборы функций.
Онтология юридических конфликтов включает по меньшей мере пятерых субъектов, или акторов (по В. Ядову), — социолога, юриста, представителя судебного или административного органа власти, владельца торговой марки и владельца предполагаемой копии. Основная функция социолога — проведение социологической экспертизы. Для этого он проектирует исследование, отвечающее требованиям судебных инстанций, получает и интерпретирует результаты социальных измерений в соответствии с интересами клиента. Функция юриста — защита интересов клиента через разрешение правового конфликта с максимизацией выгод и минимизацией потерь заказавшего юридическое сопровождение владельца торговой марки. Функция судебного или административного органа — принятие судебного
или административного решения, отвечающего нормам российского законодательства. Рассмотрение дела, вынесение решения и формирование взысканий к проигравшей стороне направлены на поддержание законности и правовой справедливости в поле юридических конфликтов. Функция владельца торговой марки — установление взаимного сходства до уровня смешения; функция владельца предполагаемой копии — отстаивание значимых различий. Для этого каждая сторона в меру имеющихся ресурсов, осведомлённости и влияния формирует доказательную базу, заключает договоры с юридическими фирмами, привлекает лояльных социологов.
Социологи на рынке социологической экспертизы позиционируют себя как независимые, незаинтересованные, объективные регистраторы юридических фактов. На деле они играют пять ролей. Первая, публично декларируемая — социолог-социолог; направлена на организацию типового исследования, воспроизводство научного дискурса, оправдывающего экспертный статус. Вторая — социолог-юрист; выполняет функцию обоснования научного вывода юридической нормой через замещение научного факта юридическим. Третья — социолог-чиновник; посвящена конструированию экспертного статуса в административном поле, выстраиванию субординации научных работ. Наконец, четвёртая и пятая определяются контрактом или юридической позицией, в которую вовлекается социолог: социолог-истец озабочен поиском доказательств взаимного сходства и обоснованием позиции обвинения; социолог-ответчик — доказательством отсутствия сходства и поиском аргументов, обосновывающих позицию стороны защиты.
Институциональный анализ промысла социологической экспертизы (по С. Кордонскому) — это последовательная реконструкция и деконструкция социальных практик возврата от инвестиций в символический капитал эксперта. На чём основан образ объективного исследователя? Как сопрягаются разные роли социолога в ходе проведения экспертизы? Где возникают ролевые конфликты и как они преодолеваются? Каковы институциональные рамки экспертной деятельности? Каким образом закрывается методическая составляющая? Какой вклад методологическая закрытость вносит в устойчивость сложившегося института социальных экспертиз? Чем поддерживаются трансформации статистического факта в научный и научного в правовой? Ответы на эти вопросы могут быть получены через систематическое наблюдение за практиками социальной экспертизы и легитимирующими их дискурсами.
Литература
Американская ассоциация исследователей общественного мнения. 2016. Кодекс профессиональной этики и практики (дополнен 30.11.2015). Пер. с англ. Д. М. Рогозина. Социологический журнал. 22 (2): 143-153.
Бабич Н. С. 2019. Методическая рефлексия в пробковом шлеме. Комментарий к статье Р. Е. Бумагина и Д. М. Рогозина «Критика опросного подхода к анализу взаимного сходства во внешнем виде потребительских продуктов внутри одной товарной категории». Экономическая социология. 20 (1): 188-196. URL: https://ecsoc.hse.ru/data/2019/01/31/1202972755/1ecsoc_t20_n1.pdf#page=188
Батыгин Г. С. 2008. Лекции по методологии социологических исследований. Изд. 2-е. М.: РУДН.
Бейкер Р. et al. 2016. Отчёт рабочей группы AAPOR о неслучайных выборках: июнь 2013. Пер. с англ. Д. Рогозина, А. Ипатовой; под ред. А. Чурикова. М.: Общероссийский общественный фонд «Общественное мнение».
Бумагин Р. Е., Рогозин Д. М. 2018. Критика опросного подхода к анализу взаимного сходства во внешнем виде потребительских продуктов внутри одной товарной категории. Экономическая социология. 19 (2): 86-117. URL: https://ecsoc.hse.ru/2018-19-2.html
Ипатова А. А. 2014. Использование параданных в анализе телефонных опросов. Телескоп: журнал социологических и маркетинговых исследований. 6: 34-41.
Мавлетова А. М. 2017. Использование параданных в опросах для корректировки и оптимизации полевых работ в адаптивном дизайне. Мониторинг общественного мнения: Экономические и социальные перемены. 5: 105-119.
Рогозин Д. М. 2000. Когнитивный анализ опросного инструмента. Социологический журнал. 3/4: 1868.
Рогозин Д. et al. 2016. Методический аудит массового опроса. М.: Изд. дом «Дело».
Biemer P. P. et al. (eds) 2017. Total Survey Error in Practice. Hoboken, NJ: John Wiley and Sons.
Kreuter F. (ed.) 2013. Improving Surveys with Paradata: Analytic Uses of Process Information. Hoboken, NJ: John Wiley and Sons.
DEBATES
Dmitry Rogozin
Straw Mills of Russian Sociological Expertise
Replying to Nikolai Babich
rogozin, Dmitry M. — PhD
in Sociology, senior researcher, Institute of sociology, SIC RAS, head of Laboratory of Social Research Methodology, Institute of Social Analysis and Forecasting, RANEPA under the President of the Russian Federation. Address: 11 Prechistenskaya Embankment, 119034, Moscow, Russian Federation.
Abstract
The article corresponds to Nikolai Babich's detailed remarks about the paper "Criticism of Interview Approach in Examining Similarity of Appearance of Products Belonging to the Same Product Category," published in the Journal of Economic Sociology (2018, vol. 19, no 2, pp. 86-117). The author outlines the basic problems of the current sociological expert evaluation in Russia and proposes options for methodological work aimed at adopting experience from the established contractual procedure for the verification of scientific truth.
This article presents some criticism of methods and procedures applied in the field of sociological expert evaluation which turned out to be closed and non-public in Russia. This sociological field has some notable features, including uncritical attitudes toward what and how expert evaluations are produced, uncertainty in the usage of methods, ignorance of international research experience and the non-transparency of methodology and tools.
Email: [email protected]
For solving the mentioned problems which the Russian sociological expertise meets, Dmitry Rogozin proposes that sociologists be more active in three directions: 1) conducting a cognitive analysis of survey toolkits embedded in court practice; 2) reconstructing experimental plans with an analysis of applied samplings; and 3) organizing institutional reviews of sociological expert evaluations.
Keywords: falsifications; fabrications; non-random sampling; online opt-in panel; scientific truth; social research methodology; survey research; sociological expert evaluation.
References
American Association for Public Opinion Research. (2016) Kodeks professionalnoy etiki i praktiki AmerikanskoH assotsiatsii issledovateley obshhestvennogo mneniya (dopolnen 30.11.2015) [AAPOR Code of Professional Ethics and Practices (Revised November 2015). American Association for Public Opinion Research] (Transl. by D. Rogozin). Sotsiologicheskiy Zhurnal = Sociological Journal, vol. 22, no 2, pp. 143-153.
Babich N. S. (2019) Metodicheskaya refleksiya v probkovom shleme. Kommentariy k statye R. E. Buma-gina i D. M. Rogozina "Kritika oprosnogo podkhoda k analizu vzaimnogo skhodstva vo vneshnem vide potrebitel'skikh produktov vnutri odnoy tovarnoy kategorii" [Methodological Reflection in a Pith Helmet. Commentary on the Article by R. E. Bumagin and D. M. Rogozin, "Criticism of the Interview Approach in Examining the Similarity of the Appearance of Products Belonging to the Same Product Category"]. Journal of Economic Sociology = Ekonomicheskaya sotsiologiya, vol. 20, no 1, pp. 188-196. Available
at: https://ecsoc.hse.ru/data/2019/01/31/1202972755/1ecsoc_t20_n1.pdf#page=188 (accessed 20 March 2019) (in Russian).
Baker R., Brick J. M., Bates N., Battaglia M. (2016) Otchyot rabochey gruppy AAPOR o nesluchajnykh vybork-akh: iyun'2013 [Report of the AAPOR Task Force on Non-Probability Sampling] (transl. by D. Rogozin, A. Ipatova; ed. A. Churikov), Moscow: Public Opinion Foundation (in Russian).
Batygin G. S. (2008) Lektsii po metodologii sotsiologicheskikh issledovaniy [Lectures for Sociological Research Methodology]. 2nd ed., Moscow: RUDN (in Russian)
Biemer P. P., de Leeuw E., Eckman S., Edwards B., Kreuter F., Lyberg L., Tucker C., West B. (eds) (2017) Total Survey Error in Practice, Hoboken, NJ: John Wiley and Sons.
Bumagin R. E., Rogozin D. M. (2018) Kritika oprosnogo podkhoda k analizu vzaimnogo skhodstva vo vnesh-nem vide potrebitel'skikh produktov vnutri odnoy tovarnoy kategorii [Criticism of Interview Approach in Examining the Similarity of the Appearance of Products Belonging to the Same Product Category]. Journal of Economic Sociology = Ekonomicheskaya Sotsiologiya, vol. 19, no 2, pp. 86-117. Available at: https://ecsoc.hse.ru/2018-19-2.html (accessed 20 March2019) (in Russian).
Ipatova A. A. (2014) Ispol'zovanie paradannykh v analize telefonnykh oprosov [Using Paradata in the Analysis of Telephone Surveys]. Teleskop: zhurnal sotsiologicheskikh i marketingovykh issledovaniy, no 6, pp. 34-41 (in Russian).
Kreuter F. (ed.) (2013) Improving Surveys with Paradata: Analytic Uses of Process Information, Hoboken, NJ: John Wiley and Sons.
Mavletova A. M. (2017) Ispolzovanie paradannykh v oprosakh dlya korrektirovki i optimizatsii polevykh rabot v adaptivnom dizayne [Using Survey Paradata for the Fieldwork Corrections and Optimization in Adaptive Design]. Monitoring obshhestvennogo mneniya: Ekonomicheskie isotsial'nyeperemeny = Monitoring of Public Opinion: Economic and Social Changes, no 5, pp. 105-119 (in Russian).
Rogozin D. M. (2000) Kognitivnyy analiz oprosnogo instrumenta [Cognitive Analysis of Survey Design]. Sotsiologicheskiy Zhurnal = Sociological Journal, no 3/4, pp. 18-68 (in Russian).
Rogozin D., Kartavtsev V., Galieva N., V'yugovskaya E. (2016) Metodicheskiy audit massovogo oprosa [Methodological Audit of Survey Research], Moscow: Delo (in Russian).
Received: October 29, 2018
Citation: Rogozin D. (2019) Solomennye mel'nitsy rossiyskoy sotsiologicheskoy ekspertizy. Otvet na repliku
N. S. Babich [Straw Mills of Russian Sociological Expertise.]. Journal of Economic Sociology = Ekonomicheskaya sotsiologiya, vol. 20, no 1, pp. 173-182, doi: 10.17323/1726-3247-2019-2-173-182 (in Russian).
