CC BY
14СТАНДАРТИЗАЦИЯ КАЧЕСТВА СОЦИОЛОГИЧЕСКИХ ИССЛЕДОВАНИЙ
ОТ ДИСКУССИИ О КАЧЕСТВЕ К СТАНДАРТИЗАЦИИ ИССЛЕДОВАНИЙ: ОБЗОР РАБОТЫ КРУГЛОГО СТОЛА НА ФАКУЛЬТЕТЕ СОЦИОЛОГИИ СПБГУ
18 декабря 2009 г. на факультете социологии Санкт-Петербургского государственного университета состоялся круглый стол «Проблемы обеспечения качества и перспективы стандартизации в социологических исследованиях». Не секрет, что социологические исследования представляют собой сегодня в некотором смысле привилегированную сферу деятельности, почти не связанную обязательными инструментами контроля качества. В этом плане современная отечественная социология довольно сильно отличается от других отраслей науки и техники, в которых сформировалась определенная культура управления качеством исследования. Эта культура, которую можно наблюдать, например, в биологии, медицине и даже в близких социологам поведенческих исследованиях, не только подразумевает активное применение как внутренних, так и внешних процедур контроля качества, но и обязывает упоминать эти процедуры в итоговых публикациях наряду с полученными результатами1.
В то же время налицо предпосылки и признаки актуализации проблемы качества социологических данных2. Организаторы круглого стола — факультет социологии СПбГУ и исследовательская группа «ЦИРКОН» — уже предприняли ряд совместных усилий в развитии данной проблематики3,
1 См., например: Methodological overview of a five-country community-level HIV/Sexually transmitted disease prevention trail / NIMH Collaborative HIV/STD Prevention Trail Group // AIDS. Vol. 21. Supplement 2. 2007. April. P. S11-S13.
2 См., например: Уральский меморандум. Обращение ассоциации региональных социологических центров «Группа 7/89» [online]. Дата обращения 08.03.2010. URL: <http://789.ru/new/projects/umem2009.pdf>; Отчет о 17-й Международной конференции «СПИД, рак и общественное здоровье» 26 мая — 2 июня 2008 г., Санкт-Петербург, Россия // Русский журнал «СПИД, рак и общественное здоровье». 2009. Т. 13. № 1 (26). С. 7; Соколов Н.В., Козлов А.П., Скворцов Н.Г. Проблемы контроля и управления качеством и стандартизации при измерении биосоциальных и социальных объектов // Русский журнал «ВИЧ/СПИД и общественное здоровье». 2008. Т. 12. № 2 (25). С. 5-7.
3 Соколов Н.В., Скворцов Н.Г, Козлов А.П., Задорин И.В. Независимая экспертиза качества в эмпирических исследованиях гражданского общества: совместный эксперимент факультета социологии СПбГУ и АНО «Социологическая мастерская Задорина» // Эмпирические исследования гражданского общества. Сборник материалов общественных слушаний (25.09.09) / Сост. А.М. Лопухин. М.: Общественная палата Российской Федерации, 2009. С. 153-157.
логичным продолжением которых стала организация мероприятия, пожалуй, впервые специально и целиком посвященного этой теме.
Поскольку круглый стол был позиционирован как преимущественно методологический — предполагалось обсуждение практических вопросов управления качеством исследования, к участию в нем были приглашены специалисты, ранее проявлявшие интерес и публично высказывавшиеся по данному вопросу. Всего в работе круглого стола приняло участие 17 человек — представители как академической, так и прикладной социологии из пяти регионов России, а также исследователи, работающие в смежных отраслях и участвующие в мультидисциплинарных исследованиях, где накоплен богатый опыт в области контроля качества.
Формат круглого стола подразумевал равноправное участие всех приглашенных в дискуссии, которая была организована «по кругу». Организаторы мероприятия сознательно настраивали участников на то, чтобы отказаться от привычного жанра заранее заготовленных презентаций в пользу «живого» обсуждения. Дискуссия продолжалось около пяти часов. Вначале рассматривались методологические аспекты внедрения стандартов качества. Затем модератор попросил участников рассказать об опыте применения тех или иных методов управления качеством и сформулировать конкретные предложения по развитию стандартизации.
Резюмируем наши представления о качестве и стандартах социологического исследования. На старте дискуссии Р.С. Могилевский (научный руководитель петербургской исследовательской компании «Агентство социальной информации») довольно точно определил стандарт качества в социологии как образ продукта, на который ориентируются участники рынка. Например, в свое время образцовым для отечественных социологов было исследование В.А. Ядова и др. «Человек и его работа».
А.П. Козлов (директор Биомедицинского центра, Санкт-Петербург) обратил внимание на то, что стандарты в различных научных отраслях существенно различаются. Если в физике речь идет о некоторых эталонных объектах, с которыми можно сравнивать иные объекты, то, например, в биологии и медицине под стандартизацией понимают уже процедуры контроля качества. При этом всегда стандарт — это совокупность документов, которая определяет ответственность измеряющего перед заказчиком и обществом.
А.С. Карпов (директор Центра экспертиз ЭКОМ, Санкт-Петербург) полагает, что качество — это то, о чём говорит потребитель (а не продавец). Тенденцию рассматривать в качестве главного критерия качества удовлетворенность потребителя (в частности, именно в этом направлении развиваются международные стандарты ISO) отметил и И.В. Задорин (руководитель исследовательской группы «ЦИРКОН», Москва). Причём он полагает этот процесс весьма рискованным, особенно для социологической отрасли, потому что потребитель сам может быть удовлетворен тем, что профессионал никогда качественным не признает.
Н.В. Соколов (заведующий лабораторией «Центр социологических исследований» СПбГУ) предложил свою интерпретацию качества социологического исследования, основанную на категории валидность, в её исходном (от англ. valid) понимании. Речь идет о годности исследовательского
продукта для интеграции в процесс принятия управленческих решений и/или в процесс развития фундаментального, академического знания.
Еще одно основание для определения качества социологического продукта предложил О.А. Оберемко (старший научный сотрудник Института социологии РАН, Краснодар). По его мнению, референтность (привязка к социальной реальности), а не удовлетворенность потребителя может стать основой для оценки качества социологического продукта.
Минимальный стандарт, с точки зрения О.А. Оберемко, это тестирование, дающее право на вход в отрасль и сразу отсекающее тех, кто не удовлетворяет требованиям профессиональной пригодности. М.Г. Мацкевич (председатель правления Санкт-Петербургской ассоциации социологов) напомнила собравшимся о том, как непросто внедрялся минимальный стандарт на публикацию социологических данных в СМИ, которые долгое время отказывались сообщать такую «бесполезную» и «неинтересную» для аудитории информацию, как количество опрошенных, организация-исполнитель и время проведения исследования.
Наиболее развернутую концепцию минимального стандарта предложил И.В. Задорин: минимальный стандарт — это стандарт, который заведомо исключает нанесение ущерба потребителю. И если исследователь произвел продукт, исказив социальную реальность и в результате какой-либо потребитель — общественность, избиратели или орган управления — принял ошибочное решение, значит, нанесен ущерб, а, может быть, и совершено преступление.
Поэтому стандартизация социологической отрасли — это не только методологический, но и сугубо практический вопрос, связанный с превращением прикладных социологических, маркетинговых, политических и т. п. исследований в производственную деятельность, что было отмечено Д.П. Гаврой (заведующий кафедрой факультета журналистики СПбГУ, модератор круглого стола) и И.В. Задориным.
В то же время участники дискуссии отметили и значительные препятствия для широкого внедрения инструментов стандартизации и управления качеством в отечественную исследовательскую практику. Так, В.Б. Звоновский (президент Фонда социологических исследований, Самара, представитель ассоциации региональных социологических центров «Группа 7/89») указал на различия между локальными исследовательскими культурами, которые наблюдаются даже между относительно близко расположенными территориями. Например, это касается взаимодействия интервьюера и респондента, которое может совершенно по-разному происходить в Самаре, Москве и Петербурге.
А.С. Карпов отметил асимметрию информации на социологическом рынке — покупатель знает про опросы, исследования, социологию существенно меньше, чем продавец. А это, как показывают современные экономические теории, неизбежно ведёт к снижению качества и провалу рыночного регулирования.
Другая проблема состоит, с точки зрения Н.В Соколова, в колоссальной девиации профессионального знания и практически полном отсутствии базовых элементов знания, в отношении которых социологи-исследователи уже достигли согласия. А это значит, что стандартизация технологических
процессов обречена стать инструментом конкуренции между учёными, школами, кланами и т. д.
Недофинансирование исследовательских проектов — отдельная и очень болезненная тема, прямо связанная с качеством социологического продукта. Как отметили в своих выступлениях Л.А. Козлова (завсектором Института социологии РАН, зам. главного редактора «Социологического журнала», Москва) и М.Г. Мацкевич, сегодня даже такие признанные грантодатели, как РФФИ и РГНФ, систематически сокращают запрашиваемые исследователями бюджеты. Бюджеты самых крупных научных институтов не содержат статей, прямо относящихся к исследовательским процедурам. В результате многие типы академической продукции просто-напросто не оплачиваются. Сильному прессингу подвергаются исследователи и на рынке госзаказа, где, как отметила С.М. Снопова (руководитель Центра мониторинга социальных процессов СПбГУ), исполнители имеют весьма ограниченные возможности влияния на процесс формирования цены.
Следующий важный вопрос, возникший в ходе дискуссии, касается субъекта стандартизации. Кто — профессионального сообщество или государство, должен сформулировать и внедрить нормативы качества?
Государство — не только традиционный защитник интересов потребителя, но и само — крупнейший потребитель на социологическом рынке. Как отметил С.В. Дамберг (замдиректора Института региональных исследований, Псков), в настоящее время появился совершенно новый заказчик — муниципал, у которого на данный момент нет ни опыта взаимодействия с социологическими компаниями, ни представлений о критериях оценки качества их работы. Отметил заинтересованность государства и И.В. Задорин: сейчас множится число судебных разбирательств между государственными органами и псевдоисследовательскими компаниями, которые, выиграв тендер, делают откровенную халтуру. Опыт показывает, что доказать низкое качество выполнения таких работ в суде невозможно, так как там необходимо предъявить норматив.
В то же время перспектива стандартизации «сверху» не слишком привлекательна для профессионального сообщества. Как отмечает О.Р. Могилевский (PR-директор АСИ, Санкт-Петербург), государственные органы никогда не будут успевать за развитием науки и наукоемких технологий. Поэтому обновление нормативных актов всегда будет происходить с опозданием и тормозить исследовательский процесс.
Конечно, оптимальный стандарт качества может возникнуть из дискуссии между производителем и потребителем как компромисс их интересов. Но исходное предложение, как отметил И.В. Задорин, должны, всё-таки, сделать исследователи, так как только они смогут сформулировать стандарт в необходимой технологической терминологии. И вот тут ряд участников круглого стола высказали серьёзные сомнения в способности актуального российского социологического сообщества решить данную задачу. Почему?
Во-первых, это касается уровня организации нашего сообщества. Как показал О.Р. Могилевский, профессиональное сообщество должно заниматься не формальными задачами — сбор взносов, ритуальные встречи раз в год — а работать постоянно. Во-вторых, обратила внимание Л.А. Козлова, даже существующее сообщество расколото. Прежде всего, наблюдается
пропасть между теоретической социологией и полстерами. В-третьих, по мнению C.B. Дамберга, сегодня отношения российского социолога с коллегами опираются, прежде всего, на взаимное доверие к профессионализму. Приоритет личных отношений перед качеством исследовательского продукта является нормой нашего рынка.
Какими же видятся участникам круглого стола основные тенденции стандартизации и стратегии управления качеством исследований?
Прежде всего, отметим идею создания эталонных образцов, которые являли бы собой примеры для подражания. Выделяется два типа образцов — исследовательского продукта и исследовательской компании. И.В. Задорин предлагает создавать культурные образцы, которые представляют собой нормы, внедряемые в локальные исследовательские практики, и становятся традиционными для некоторого под-сообщества. Интересно, что именно в возникновении образцовых исследовательских центров видит ключевой момент изменения подходов к управлению качеством в американской науке М.М. Соколов (доцент Европейского университета в Санкт-Петербурге). В медицине эту роль сыграла школа Джонса Хопкинса4, в социологии — пол-стерские центры, связанные с Чикагским и Колумбийским университетами.
С.В. Дамберг считает, что важно не ограничивать процесс стандартизации только методами и процедурами исследования. Необходимо регламентировать вопросы организации труда в исследовательском коллективе и его технического обеспечения, что неизбежно связано и с финансированием проектов. С.М. Снопова полагает, что определенные образцы уже существуют в исследовательской практике и их нужно активнее популяризировать. Например, методика проведения exit-poll, отработанная Центром мониторинга социальных процессов, — это уже практически готовый стандарт данной процедуры.
С созданием образцов тесно связана тема этической регламентации работы исследователя и его профессиональной репутации. Как сказал в самом конце дискуссии О.Р. Могилевский, необходимо воспитывать внутреннюю ответственность исследователя и формировать в сообществе такую ситуацию, когда некачественные исследования делать неприлично. Еще более жесткую позицию в этом вопросе занимает И.В. Задорин: некачественное, халтурное, фальсифицированное социологическое исследование, следствием которого может стать какой-либо ущерб — здоровью людей, государству, процессам управления и т. д., должно быть в известной степени приравнено к такой же преступной деятельности, как производство некачественных продуктов и товаров в других сферах. Участники круглого стола неоднократно вспоминали проект профессионального кодекса, разработанный Р.С. Могилевским еще десять лет назад.
Следующий важный аспект процесса модернизации социологической отрасли — это обеспечение публичного характера дискуссии и открытость исследований. Н.Г. Скворцов (проректор по научной работе СПбГУ, декан факультета социологии) обратил в этой связи внимание на интересные процессы вокруг нового направления, названного публичной социологией. В нем
4 Starr P. The social transformation of American medicine. New York: Basic Books,
1982.
участвуют и теоретики, и прикладники, и специалисты из других сфер, вообще не связанных с социологией. Именно такой формат позволит найти необходимый для стандартизации компромисс.
Участники круглого стола практически единодушно сошлись во мнении о том, что открытость исследовательского процесса позитивно влияет на его качество. Вопрос в том, что на практике может означать требование «открыть» исследовательский продукт. С точки зрения А.С. Карпова, этот процесс подобен «открытию кодов». Не обязательно открывать все данные — нужно показать существенные аспекты получения достоверных результатов.
Важно, что достаточно много участников сообщили об уже имеющемся в их исследовательской практике позитивном опыте открытия исследовательских данных. Например, В.Б. Звоновский рассказал, как Ассоциация региональных социологических центров ведет целенаправленную работу по публикации (прежде всего — в Интернете) результатов, полученных компаниями в разных регионах России. Причём стратегия состоит в том, чтобы представлять результаты как можно более детально, вплоть до первичных электронных матриц, доступных для обработки.
Требование открытости социологических исследований не может быть абсолютным. И.В. Задорин считает: у заказчика, в том числе и у государства, есть право определенные исследования закрывать. И в отдельных случаях это правильно, потому что результаты могут быть использованы во вред — например, данные исследований идеологии терроризма или социологии страха. Н.В. Соколов также полагает, что абсолютная открытость на социологическом рынке невозможна, так же как она невозможна в любой технологической области. Открытие технологических решений влечет за собой потери, связанные с их копированием конкурентами, которое всегда существенно дешевле разработки «с нуля».
На фоне дискуссии об открытости и публичности социологических исследований представляется чрезвычайно интересным предложение И.В. Задорина о проведении открытых исследований, open research — это такие исследовательские проекты, которые выполняются в открытом режиме от начала до конца (примеры — создание Linux и Vikipedia). Речь идет о том, что открытое обсуждение и принятие решений неким кругом профессионалов происходит на протяжении всего технологического процесса — от постановки задач и разработки метода и инструментария до сбора информации, анализа и интерпретации.
Одной из важных проблем в области управления качеством социологических исследований является, по мнению участников круглого стола, взаимодействие теоретической науки, академических ученых, с одной стороны, и исследователей-прикладников, полстеров — с другой. По мнению Р.С. Могилевского, это де-факто разные отрасли, каждая из которых имеет собственный предмет, и нужно провести границу между ними. Как это можно сделать? И.В. Задорин предлагает: профессиональное сообщество исследователей-прикладников должно породить свои знаки отличия, с помощью которых можно отличить профессионала от непрофессионала. Сейчас этого нет, и исследователи (полстеры, прикладники) пытаются пользоваться теми, которые применяются в академической сфере.
А вот Л.А. Козлова видит стратегию развития профессионального сообщества иной. Сегодня полстеры не знают, чем занимаются теоретики, и наоборот. Создание стандартов, или культурных образцов, может быть фактором сближения ныне отстраненных друг от друга сегментов и, в конечном счёте, создания социологического сообщества в классическом смысле.
Другой момент дискуссии, в котором наметилось противостояние между отдельными участниками, связан с вопросом о том, стоит ли копировать зарубежные стандарты качества. Именно с перевода зарубежных стандартов предлагает начать О.А. Оберемко. О.В. Тюсова (старший научный сотрудник Биомедицинского центра, Санкт-Петербург), напротив, предостерегает от прямого заимствования, копирования иностранного опыта, иностранных стандартов без учёта социокультурного контекста.
В чем собравшиеся оказались едины, так это в оценке высокой важности социологического образования. Точнее других высказалась по этому поводу, пожалуй, А.М. Хохлова (ассистент факультета социологии СПбГУ): если рассматривать стандарт как входной билет в профессиональную исследовательскую социологию, то начинать выдачу этих билетов надо там, где готовят социологов, то есть в профильном вузе. С.М. Снопова предлагает внедрить стандарт на уровень профессионального образования для всех сотрудников специализированных компаний — исследователей, руководителей, полевого и технического персонала.
Завершая обзор дискуссии, стоит, прежде всего, отметить её продолжительность и насыщенность. Состоявшийся обмен мнениями показал, что потребность в определенной стандартизации сферы социологических исследований отмечается большинством участников отрасли, а появление тех или иных стандартов рассматривается как вполне вероятное. При этом отмечено весьма значительное число препятствий для развития этого процесса, многие из которых коренятся в собственно отраслевой специфике. В результате, пожалуй, ключевым вопросом стандартизации оказывается вопрос об ее субъекте, так как в сложившейся системе взаимоотношений отраслевых агентов — исследователей, заказчиков, институтов и т. п. — не удается обнаружить тот «центр силы», который был бы способен претендовать на лидирующую роль в процессе разработки и внедрения стандартов качества.
Показательно, что почти все участники круглого стола сообщали о том или ином опыте в области управления качеством исследований. При этом позитивный и негативный опыт в этой области упоминаются практически в равных пропорциях, что свидетельствует о довольно сложной отраслевой реакции на инициативы по применению подобных процедур. С другой стороны, представленный опыт является весьма разнообразным, а в некоторых случаях — уникальным. Другими словами, усилия отдельных компаний, заказчиков, общественных групп разрозненны и разнонаправленны. Требуется их координация на основе определенного профессионального консенсуса , чтобы инструменты управления качеством стали привычными для социологического сообщества.
Н. В. Соколов, кандидат социологических наук, Санкт-Петербургский государственный университет
