CC BY
202
4 ДИСКУССИЯ
Щ журнал научных публикаций
А. А. Онипко, канд. социол. наук, доцент, кафедра прикладной социологии, Уральский федеральный университет им. первого Президента России Б. Н. Ельцина, г. Екатеринбург, Россия, a.a.onipko@urfu.ru
ПРОБЛЕМЫ ПОЛУЧЕНИЯ ЭКСПЕРТНОЙ ИНФОРМАЦИИ В СОЦИОЛОГИЧЕСКИХ ИССЛЕДОВАНИЯХ
В статье рассматриваются основные проблемы, с которыми сталкивается социолог при использовании в исследовании экспертных методов. Дается обоснование необходимости применения экспертизы в социологическом исследовании, что обусловлено всё более динамичными темпами социальных изменений, мультипарадигмальностью обществоведческой сферы науки, во многом усложнящими методологическую и методическую подготовку социологического исследования. Приводится определение экспертной информации, ее ключевых характеристик. Анализируются методологические и методические требования, необходимые для получения такого типа исследовательских результатов. Характеризуются этапы получения экспертной информации. Особое внимание уделяется такому этапу, как отбор специалистов для участия в экспертизе. Отмечается важность применения методик оценки компетентности экспертов, среди которых как наиболее удачный в плане формирования результативной экспертной группы отмечается метод самооценки. Приводятся обоснования использования данного метода, связанные с такими методическими феноменами, как «отрицание экспертности», прямая зависимость между средней групповой самооценкой и точностью экспертизы. Характеризуются особенности метода экспертного интервью. Делается вывод о специфике применения экспертизы в социологическом исследовании.
Ключевые слова: методы социологического исследования, экспертиза, экспертное интервью, гайд, компетентность экспертов, оценка компетентности, отрицание экспертности, самооценка экспертов.
Ускоряющийся процесс общественного развития, всё более динамичные темпы социальных изменений, мультипара-дигмальность обществоведческой сферы науки во многом усложняют методологическую и методическую подготовку социологического исследования. Привлечение компетентных специалистов, по замечанию многих социологов, является одной из стратегий решения задачи разработки качественных программ и инструментария для диагностики и мониторинга современных многофакторных социальных проблем. Кроме того, грамотно обработанные данные, полученные от экспертов, могут представлять собой достаточный исследовательский результат для формирования научного представления о неизвестной, малоизучен-
ной области функционирования и развития общества.
Экспертная информация — это проанализированные экспертные суждения (качественные либо количественные). Процесс ее получения включает в себя несколько этапов, которые достаточно подробно описываются в научных трудах экс-пертологов. Следует отметить, что каждый этап сопровождается рядом сложностей, связанных как с личностью самого эксперта, так и непосредственно с исследовательской работой. По этой причине на практике при использовании экспертных методов часто нивелируются некоторые обязательные методические требования, дающие основания считать полученные на выходе результаты именно экспертной информа-
№ 6 (47) ИЮНЬ 2014
ДИСКУССИЯ 4
журнал научных публикаций Щ
циеи, а не просто совокупностью мнении специалистов в тоИ или иной профессиональной области.
Одна из очевидных проблем, возникающих перед исследова- = телями, отважившимися на использование экспертных методов, связана с рядом вопросов — кто может выступать экспертом по изучаемой теме, где найти таких специалистов, а самое главное, какими качествами они должны обладать, каким критериям отвечать, чтобы считаться экспертами, то есть компетентными в определенной сфере профессионалами? Сами экспертологи отмечают, что «нет методов подбора экспертов, наверняка обеспечивающих успех экспертизы»1. Тем не менее чаще всего используется метод «снежного кома» — несложный, хорошо известный социологам. Но даже он имеет некоторые недостатки, связанные с формированием в итоге группы экспертов из одного «клана», что само собой отражается на результатах исследования. Чтобы избежать такой ситуации, имеет смысл, по мнению автора, обратить внимание на то, чтобы ключевые информанты были представителями разных научных школ, ведомств и т. п.
Предположим, что преодолев немалые трудности в процессе поиска так называемых экспертов, социолог получил их согласие на участие в исследовании (приемы для этого известны — предоставление результатов исследования, публикации с указанием соавторства экспертов и т. п.). Дабы «не спугнуть» ценного информанта, от него первым же делом необходимо получить все необходимые суждения. Такой этап, как оценка компетентности специалистов, который, по мнению экспертоло-гов, является центральной задачей экспертного отбора2, как правило, либо проводится поверхностно, либо вообще пропускается. Между тем качество экспертных суждений
На практике при использовании экспертных методов часто нивели руются некоторые обязательные методические требования, дающие основания считать полученные на выходе результаты именно экспертной информацией, а не просто совокупностью мнений специалистов в той или иной профессиональной области.
Не каждое высказывание эксперта является экспертным, и один из маркеров, фальсифицирующих экспертность, -отсутствие времени или озабочен ность другими проблемами.
напрямую связано с уверенностью специалиста в своих знаниях и опыте в определенной проблемной области.
Методические исследования по данной тематике выявили несколько феноменов, указывающих на особую значимость этого этапа экспертного исследования, о котором мы начали вести речь. Так, например, был выявлен эффект «отрицания экс-пертности»3, который проявляется, к сожалению, уже в процессе получения экспертных мнений (в ходе экспертного интервью, например). Эксперты отказываются отвечать на те или иные вопросы либо отвечают неопределенно (неоднозначно). Такая модель поведения информанта связана не столько с его незнанием, сколько с нежеланием давать интересующую исследователя информацию. Таким образом, согласие специалиста на участие в исследовании должно непременно сопровождаться его готовностью поделиться профессиональными знаниями.
Отказ от участия в экспертизе по каким-либо объективным причинам (занятость, нехватка времени) — явная демонстрация отсутствия заинтересованности в исследуемой проблеме. Как отмечают исследователи, применявшие экспертные методы, «не каждое высказывание эксперта является экспертным, и один из маркеров, фальсифицирующих экспертность, — отсутствие времени или озабоченность другими проблемами»4. Таким образом, не стоит воспринимать формирование экспертной группы как непреодолимую сложность. Это скорее та методическая особенность экспертизы, которая помогает на этапе отбора информантов выявить наиболее эффективных из них с точ-= ки зрения результативности исследования.
Еще один методический феномен, который стоит отметить в качестве особенности экспертного метода исследования —
г дискуссия
^ журнал научных публикаций
прямая зависимость «между средней групповой самооценкой (частное от деления суммы индивидуальных на число экспертов в группе) и точностью экспертизы»5. Данная связь подтверждает адекватность такой техники измерения компетентности экспертов, как самооценка. Как правило, специалисты оценивают свои знания и опыт (как источники аргументации) по определенным тематическим блокам, обусловленным исследовательскими задачами. Самооценка должна осуществляться по критериям, входящим в ту зону компетентности специалиста, которая интересует нас как исследователей. Такой метод оценки компетентности не «ударит» по самолюбию профессионала, в отличие, например, от тестового метода. Не исключено, что специалисты могут как преувеличивать, так и приуменьшать уровень своей компетентности, так как «при самооценке компетентности оценивается скорее степень самоуверенности эксперта, чем его реальная компетент-ность»6. Но более важно то, что высокая са-
Обращение к эксперту имеет целью обогащение и приращение того знания, которое уже сумел добыть сам исследователь.
товности эксперта к генерации экспертного знания, о которой говорилось выше.
Самый распространенный метод экспертного социологического исследова-- ния — это экспертное интервью. Этот метод не направлен на выработку единого, разделяемого всеми экспертами, решения (в отличие от метода коллективного блокнота, метода «Дельфи»), что часто оказывается затруднительным в области социальных проблем. Реализация исследования с использованием экспертного интервью для опытного социолога не является сложной. Тем не менее и здесь приходится сталкиваться с некоторыми проблемами, начиная с составление самого инструмента — гайда интервью.
Специфической и отличительной чертой экспертизы именно в социологических исследованиях является частая неопределенность предмета исследования — неопределенность в плане сложности формулировки конкретных и достаточных критериев, отражающих суть изучаемого социального про-
мооценка может служить индикатором го- цесса или явления. Отсюда социологу не-
№ 6 (47) ИЮНЬ 2014
дискуссия
журнал научных публикаций
просто сформулировать исследовательские индикаторы, а экспертам затем наполнить их содержательно. К примеру, вопросы интервью, воспринятые экспертами как очевидные, стали одной из причин отрицания экспертности. «Эксперты не считают нужным снисходить до предо -ставления интервьюерам информации, которая находится в открытом доступе, особенно если таковая не входит в зону их профессиональных интересов, полагая, что ее поиск — задача самих интервьюеров и заказчиков исследования: здесь не срабатывают апелляции к их компетентности и экспертному статусу»7.
Отсюда роль социолога в процессе разработки и проведения экспертного исследования значительно возрастает, так как ему необходимо разбираться в проблеме не хуже самих специалистов для грамотного построения инструмента и последующего анализа полученной информации. В этом смысле обращение к эксперту имеет целью обогащение и приращение того знания, которое уже сумел добыть сам исследователь.
Социологическое экспертное исследование представляет собой, таким образом, взаимодействие экспертов (информант-эксперт и исследователь-эксперт) на уровне генерации и интеграции экспертной информации в рамках предметной сферы социологической науки.
По этой же причине обращение к экспертной группе на заключительном этапе обработки полученных данных вполне оправданно, так как позволяет избежать, во-первых, субъективности в анализе мнений экспертов, во-вторых, помогает уточнить и дополнить некоторые тематические блоки аналитического отчета. Также следует отметить, что в социологическом исследовании результаты, полученные от взаимодействия с экспертами, необходимо подтверждать статистикой, данными из анализа документов, так как изучаемое проблемное поле всегда неопределенно ввиду множества
Эксперты не считают нужным снисходить до предоставления интервьюерам информации, которая находится в открытом доступе, особенно если таковая не входит в зону их профессиональных интересов, полагая, что ее поиск - задача самих интервьюеров и заказчиков исследования: здесь не срабатывают апелляции к их компетентности и экспертному статусу.
влияющих на него факторов, в том числе и латентных.
Таким образом, получение экспертной информации — достаточно трудоемкий исследовательский процесс. Требуется много времени для поиска нужных специалистов, налаживания с ними контакта. Проанализированные данные можно назвать экспертной информацией, если в процессе их получения использовались научно обоснованные методы формирования группы экспертов, оценки их компетентности. Даже небольшие просчеты в составлении программы и инструментария эквивалентны потерянной ценной экспертной информации. Но проблемы, сопровождающие экспертизу, не являются основанием для отказа социолога обогатить свое исследование компетентной информацией. Учет ее позволит избежать искажения полученных результатов. ^
Литература
1. Орлов И.А. Организационно-экономическое моделирование. Ч. 2: Экспертные оценки. М.: Изд-во МГТУ им. Н.Э. Баумана, 2011. С. 45.
2. Панкова Л. А., Петровский А. М., Шнейдерман М. В. Организация экспертизы и анализ экспертной информации. М.: Наука, 1984. С. 11.
3. См.: Троцук И.В. Отрицание экспертности как методическая проблема // Социология: 4М. 2009. № 29. С. 156-171.
4. Рогозин Д.М., Яшина А.В. Фальсификация экспертности экспертного интервью // Полития. № 2(45). 2007. С. 126.
5. Голубков Е.П. Маркетинговые исследования: теория, методология и практика. М.: Издательство «Финпресс», 1998. С. 204.
6. Орлов И.А. Организационно-экономическое моделирование. Ч. 2: Экспертные оценки. М.: Изд-во МГТУ им. Н.Э. Баумана, 2011. С. 47.
7. Троцук И.В. Отрицание экспертности как методическая проблема // Социология: 4М. 2009. № 29. C. 166.
4 ДИСКУССИЯ
Щ журнал научных публикаций
THE PROBLEM OF GETTING EXPERT INFORMATION IN SOCIOLOGICAL INVESTIGATIONS
A. A. Onipko, Candidate of Sociology, Docent, the department of applied sociology, Ural Federal University named after the first President of Russia B. N. Yeltsin, Ekaterinburg, Russia, a.a.onipko@urfu.ru
This article considers the main problems which can be met by any sociologist during application of expert methods. This work substantiates the necessity of expert examination in sociological investigation; it is conditioned by high dynamics of social changes, multi-paradigm of social sciences, what make tougher methodological and methodical preparation of sociological investigation. There is a definition of expert information and its main characteristics. It analyzes methodological and methodical requirements necessary for this kind of investigative results. This paper also characterizes the stages of getting expert information. Special attention is paid to the stage as selection of specialists for expert examination. This article marks the significance of experts' competence evaluation technique application; according to result expert group formation the best of them is a method of self-appraisal. This work substantiates application of this technique, connected with the methodical phenomena, as «denial of expert», it is a direct dependence between middle group self-appraisal and expert examination accuracy. The article characterizes the peculiarities of expert interview method. The author makes a conclusion about specificity of expert examination application in sociological investigation.
Key words: methods of sociological research, expertise, expert interviews, hyde, the competence of experts, assessment of competence, denial of expertnet, self-assessment experts.
References
1. Orlov I.A. Organizatsionno-ekonomicheskoe mod-elirovanie. Ch. 2: Ekspertnye otsenki [Organizational-economic modeling. Part 2: Expert assessment]. Moscow, Izd-vo MGTU im. N.E. Baumana Publ., 2011. 486 p.
2. Pankova L. A., Petrovskii A. M., Shneiderman M. V. Organizatsiia ekspertizy i analiz ekspertnoi informatsii [Organization of examination and analysis of the expert information]. Moscow, Nauka Publ., 1984. 120 p.
3. Trotsuk I.V. Otritsanie ekspertnosti kak metodiches-kaia problema [The denial of expertnet as methodological problem]. Cotsiologiia: 4M — Sociology: 4M, 2009, no. 29, pp. 156-171.
4. Rogozin D.M., Iashina A.V. Fal'sifikatsiia ekspertnosti ekspertnogo interv'iu [Falsification of expertnet expert
interviews]. Politiia — Politiya, 2007, no. 2(45), pp. 119— 148.
5. Golubkov E.P. Marketingovye issledovaniia: teo-riia, metodologiia i praktika [Marketing research: theory, methodology and practice]. Moscow, Izdatel'stvo «Fin-press» Publ., 1998. 416 p.
6. Orlov I.A. Organizatsionno-ekonomicheskoe mod-elirovanie. Ch. 2: Ekspertnye otsenki [Organizational-economic modeling. Part 2: Expert assessment]. Moscow, Izd-vo MGTU im. N.E. Baumana Publ., 2011. 486 p.
7. Trotsuk I.V. Otritsanie ekspertnosti kak metodiches-kaia problema [The denial of expertnet as methodological problem]. Cotsiologiia: 4M — Sociology: 4M, 2009, no. 29, pp. 156-171.
