CC BY
186
2017
ВЕСТНИК САНКТ-ПЕТЕРБУРГСКОГО УНИВЕРСИТЕТА СОЦИОЛОГИЯ
Т. 10. Вып. 2
МЕТОДЫ В СОЦИОЛОГИИ: ТРАДИЦИИ И ТРАНСФОРМАЦИИ
УДК: 316.014, 338.27
О. И. Карасев, А. Е. Китаев, И. И. Миронова, Т. B. Шинкаренко
ЭКСПЕРТНЫЕ ПРОЦЕДУРЫ В ФОРСАЙТЕ: ОСОБЕННОСТИ ВЗАИМОДЕЙСТВИЯ С ЭКСПЕРТАМИ В ПРОЕКТАХ ПО ДОЛГОСРОЧНОМУ ПРОГНОЗИРОВАНИЮ
Московский государственный университет им. М. В. Ломоносова, Российская Федерация, 119991, Москва, Ленинские горы, 1, стр. 46
Статья посвящена ключевым особенностям организации экспертных процедур в исследованиях по долгосрочному научно-технологическому прогнозированию на основе методологии форсайта. Процесс форсайта включает элементы взаимодействия и учета мнений ведущих специалистов в предметной области, в том числе лиц, принимающих решения. В рамках проведения экспертных мероприятий в ходе форсайт-исследования неизбежно возникает задача обеспечения необходимого качества экспертизы каждой из предметных областей исследования. Она может быть решена посредством оптимальной организации работы экспертных групп и формирования экспертных панелей с высоким уровнем компетенции привлекаемых специалистов в рамках той или иной предметной области. Однако в условиях ограниченности экспертной базы приобретают особую значимость формирование специализированных критериев отбора экспертов на основе оценки ex ante и применение индивидуальных способов мотивации к участию в форсайт-исследовании. В статье авторы предлагают собственную методику оценки уровня компетенции специалистов ex ante, которая прошла успешную апробацию в нескольких высокоуровневых форсайт-проектах. Отдельное внимание также уделено наиболее распространенным методам мотивации специалистов в прогнозных исследованиях в области науки и технологий. Библиогр. 25 назв. Ил. 2.
Ключевые слова: экспертные методы, критерии отбора экспертов, научно-технологическое прогнозирование, форсайт.
EXPERT PROCEDURES IN FORESIGHT:
INTERACTION WITH EXPERT PROFESSIONALS DURING LONG-TERM FORECASTING RESEARCH
O. I. Karasev, A. E. Kitaev, I.I. Mironova, T. V. Shinkarenko
Lomonosov Moscow State University,
1-46, Leninskie Gory, Moscow, 119991, Russian Federation
The article addresses the key problems of professional procedures' organization in long-term Science, Technology & Innovation (STI) forecasting research. Within the framework of professional procedures in forecasting research, the problem of ensuring the required quality of expert professionals for each area of study has arisen. Qualitative examination can be achieved through optimal organization of the work of expert groups and the creation of expert panels with a high level of professional compe-
© Санкт-Петербургский государственный университет, 2017 DOI: 10.21638/11701/spbu12.2017.203
tence in a subject area. However, under a limited number of competent professionals within a specific subject area, it is crucial to use special qualification criteria for the selection of experts based on ex ante assessment. Besides, application of individual methods of motivation helps to improve the quality of technological forecasts. In the article the authors offer their own methods of ex ante assessment of expert's competence. Special attention is also paid to the most common methods of motivating expert professionals engaged in forecasting research in the science and technology areas. Refs 25. Figs 2.
Keywords: expert methods, expert professional qualification criteria, Science & Technology forecasting, foresight.
Введение
В условиях нарастающей конкуренции на глобальных рынках ключевым игрокам становится все более сложно проводить исследования и разработки одновременно по полному спектру научных направлений. Для обеспечения поступательного развития экономики необходимо адекватно и своевременно выделять приоритеты будущего развития, используя традиционные и инновационные подходы, в том числе современные методики анализа больших данных и экспертной информации. В рамках таких исследований широкое распространение получила методология форсайта [1].
Форсайт-исследование направлено на определение перспектив социально-экономического, научно-технологического и инновационного развития, как правило, с горизонтом 10 лет и более. В арсенале таких исследований сегодня находится более 40 различных методов, как количественных, так и качественных [2]. Почти всегда форсайт предполагает синтез практических методик, необходимых для достижения желаемой аналитической глубины полученных в ходе исследования результатов. Поэтому значительное внимание в нем уделяется многоуровневой работе экспертов по определению сценариев и приоритетов развития предметной области в долгосрочной перспективе.
Процесс форсайта включает элементы взаимодействия и учета мнений ведущих экспертов в предметной области, в том числе лиц, принимающих решения. Основными преимуществами такого подхода являются вовлеченность различных сторон в процесс выработки управленческих решений начиная с ранних этапов разработки прогнозов, а также организация взаимодействия между представителями различных научных дисциплин и областей деятельности в ходе исследования. Таким образом, форсайт-исследование позволяет вырабатывать комплексные решения, находящиеся на стыке разных научных областей, видов экономической деятельности и компетенций должностных лиц и организаций. Организация исследования направлена на предвидение рисков различной природы в рамках предметной области, оценивание «окон возможностей», которые могут быть неочевидны для специалистов из отдельных научно-исследовательских сфер.
В рамках проведения экспертных мероприятий в ходе исследования неизбежно возникает задача обеспечения необходимого качества экспертизы предметной области. Она заключается как в оптимальной организации работы экспертных групп, так и в формировании экспертных панелей с высоким уровнем компетенции привлекаемых специалистов. Последняя проблема является крайне актуальной, поскольку принцип случайной выборки, широко применяемый в статистических выборочных наблюдениях при обследовании населения или организаций, нереле-
вантен для углубленных экспертных обследований. В таких исследованиях подбор экспертов производится на основе оценки ex ante их компетентности с помощью различных методов и индикаторов, составляющих единую систему специализированных критериев подбора экспертов. Организация целенаправленного, или детерминированного, процесса поиска и отбора экспертов позволяет обеспечить репрезентативность взглядов и представленных дисциплин при условии высокого качества экспертной группы, а также значительно снизить вероятность попадания в панель экспертов с недостаточным уровнем компетентности.
Таким образом, проблема исследования заключается в обеспечении оптимального качества экспертизы при проведении углубленных экспертных исследований. Объектом исследования выступают экспертные процедуры в форсайт-исследованиях; предметом — методика отбора экспертов в проектах по долгосрочному прогнозированию.
Цель данного исследования сводится к разработке оригинальной методики подбора экспертов, учитывающей специфику форсайт-исследований. Для достижения цели перед авторами были поставлены следующие задачи:
— проанализировать существующие подходы к организации экспертной работы в социологических и форсайт-исследованиях, а также лучшие практики их применения;
— выявить ключевые особенности организации экспертной работы и взаимодействия с экспертами в проектах по долгосрочному прогнозированию;
— разработать методику подбора экспертов, позволяющую достичь повышения качества экспертных групп, привлеченных к выполнению проекта.
Авторами в исследовании выдвигаются следующие гипотезы. Во-первых, мы полагаем, что принцип случайной выборки неприменим для экспертных исследований, поскольку не обеспечивает учет таких ключевых параметров, как уровень квалификации экспертов и область его профессиональных компетенций. Во-вторых, достичь оптимального качества выводов в экспертных исследованиях позволяет использование принципов детерминированного отбора экспертов по заданным критериям.
В настоящей работе представлена оригинальная методика подбора экспертов при подготовке форсайт-исследования, а также раскрыты ключевые особенности организации экспертной работы в ходе подобных проектов. Предложенная методика прошла практическую апробацию в ходе нескольких исследований, выполненных коллективом Московского государственного университета имени М. В. Ломоносова в интересах ряда ведущих российских компаний. Так, проблема обоснованного формирования экспертной группы возникала в прогнозных исследованиях по широкому спектру научно-технологических проблем. Среди них стоит отметить, например, такой проект, как «Построение прогнозов (форсайт) рынков продуктов и технологий в сфере нанотехнологий на долго-, средне- и краткосрочную перспективу», реализованный при участии членов авторского коллектива настоящей статьи в 2008-2012 гг. по заказу с АО «РОСНАНО». Данное исследование задействовало комплекс экспертных методов, среди которых стоит выделить метод Дельфи, экспертные опросы и интервью. Более подробно система методов форсайта раскрыта в пятой части настоящей статьи. Для валидации и оценки результатов данных исследований были привлечены специализированные экспертные группы.
Оценка результатов проведенных исследований ex post показывает, что выводы построенных таким образом прогнозов подтверждаются практикой.
Статья имеет следующую структуру. Вторая часть статьи отражает проведенный авторами обзор литературы по экспертным методам в социологических и форсайт-исследованиях. В третьей части представлены критерии необходимости привлечения экспертов в форсайт-исследование. Четвертая часть посвящена процедуре и критериям подбора экспертов. В пятой и шестой частях рассматриваются ключевые особенности взаимодействия с экспертами в ходе исследования: методы извлечения экспертного знания и способы организации экспертной дискуссии соответственно.
Обзор литературы по экспертным методам в социологических и форсайт-исследованиях
Современная социологическая литература уделяет значительное внимание экспертным методам и проблемам извлечения экспертных оценок, не в последнюю очередь за счет усложнения социально-экономической системы как объекта изучения. При этом в научной литературе выделяются различные подходы к реализации экспертизы, см., например, статью И. В. Троцук [3, с. 157].
В целом И. В. Троцук акцентирует внимание на таких аспектах экспертного опроса, как компетентность экспертов, методы получения экспертных оценок и обработки полученных результатов [3]. Так, в работе по прикладной социологии В. Я. Ельмеева и В. Г. Овсянникова [4] отмечены две основные методические проблемы экспертного опроса: процесс подбора экспертов и оптимизация процедуры работы с ними. Для решения первой проблемы формируется перечень критериев для отбора, в том числе компетентность, наличие узкой специализации и широкого кругозора, индивидуальные и моральные качества эксперта. При этом подчеркнута необходимость использования так называемой концепции «идеального эксперта». Специфика используемых методов опроса обусловлена характером взаимодействия с экспертами (очное и заочное), а также наличием механизмов «обратной связи» (возможность самообучения в процессе экспертизы).
Наиболее разработанным направлением в научной литературе по проблемам экспертизы являются способы и методы обработки полученной от экспертов информации. Зарубежные источники по данной теме рассматривают либо частные случаи использования определенных типов экспертной информации (медицина, судебная экспертиза и т. п.), либо математико-статистические методы построения вероятностных распределений на ее основе. Последний подход получил развитие и в работах советских и российских авторов, например С. Д. Бешелева, Ф. Г. Гурвича, Б. Г. Литвака. Следует подчеркнуть, что вероятностные сценарии, разрабатываемые на основе математико-статистических моделей, представляют собой важный инструмент прогнозирования и планирования различных процессов.
В современной литературе затрагиваются вопросы алгоритмов и организации целенаправленного процесса отбора экспертов, в том числе для прогнозных исследований в области науки и технологий. В работе Дж. Бейкера (J. Baker) и др. [5] была отмечена субъективность процесса экспертного подбора, вследствие чего в некоторых исследованиях не удается достичь оптимального качества полученной
экспертизы. Авторы Д. М. Рогозин и А. В. Яшин в своем исследовании [6] указывают на недостаток экспертных опросов, заключающийся в наличии фальсификатов экспертности. Следствием его является так называемое профанное знание, представляющее собой не элемент объективного представления об изучаемом явлении, а субъективное мнение конкретного человека. При этом отдельное направление в научной литературе посвящено способам, позволяющим преодолеть несовершенство экспертных процедур. Например, в работе [7] Е. В. Масленниковым предлагается оригинальный метод интеграции концепций экспертов, основанный на выполнении экспертом функции разработчика идей и предложений по преобразованию изучаемой области.
В работе А. П. Шароды (A. P. Sharoda) [8] описан полевой эксперимент, показавший, что оптимальная организация процесса отбора экспертов является наиболее существенным фактором качества организации работы с экспертами и итоговых результатов. Похожий вывод был сделан и в исследовании М. Б. Бокова [9]. Помимо этого, в данной статье представлены ключевые аспекты организации экспертных процедур, взаимодействия рабочей группы с экспертами до начала активной фазы исследования. Отдельное внимание было уделено вопросам мотивации экспертов к качественному участию во всех этапах форсайта. В ходе исследования проблемы объективности результатов работы экспертов О. Саритас (O. Saritas) пришел к выводу о необходимости формирования экспертных групп специалистами, обладающими наиболее высоким уровнем компетенций и квалификации в изучаемой области [10]. Такой подход, по утверждению исследователя, позволяет получать несмещенные результаты по итогам проведения всех экспертных процедур на систематической основе.
Отдельное направление литературы по проблемам форсайта посвящено оценке качества исследования ex ante и ex post. Так, в работе Д. Майснера, Л. М. Гохберга и А. В. Соколова (D. Meissner, L. Gokhberg, A. Sokolov) [11] проведена систематизация и классификация критериев качества форсайт-исследования в зависимости от его целей и задач, предметной области и методов исследования. В исследовании Е. А. Макаровой и А. В. Соколовой [12] сделан детальный обзор существующих методологий комплексной оценки ex post успешности форсайт-проектов, выделены ключевые аспекты алгоритма оценивания национальных исследовательских программ в этой области. В другой публикации указанными авторами представлена оригинальная методика оценивания форсайт-исследований, основанная на изучении лучших зарубежных практик в данной сфере [13]. Помимо этого, отдельное внимание уделено адаптации системы критериев оценки успешности проектов, повсеместно применяемой в настоящее время в области проектного менеджмента.
В целом по итогам анализа литературы по проблеме организации этапа подбора квалифицированных экспертов следует отметить, что, во-первых, в научной литературе не рассматриваются вопросы применения инструментария выборочных обследований для формирования экспертной группы, что подтверждает отличие экспертных процедур от выборочного наблюдения в статистике. Во-вторых, авторы сходятся во мнении, что одним из критериев подбора экспертов должна быть их квалификация. Разные авторы предлагают разные подходы к определению степени компетентности экспертов. Наиболее известные их них представлены в следующих частях настоящей работы.
Важно заметить, что проведенное исследование социологической литературы позволило выявить источники, обосновывающие преимущества случайной выборки для целей экспертных исследований. В то же время в ряде работ указывается на необходимость детерминированного подхода к отбору экспертов, однако формат такой процедуры зачастую остается вне поля зрения исследователей. Представляется, что разработка подобного алгоритма содержит в себе значимый элемент научной новизны.
Целесообразность привлечения экспертов
В связи с изменением условий функционирования большинства секторов ведущих развитых экономик — в частности, усложнением и удлинением технологических цепочек, возрастанием спроса на высокотехнологичную наукоемкую продукцию, развитием цифровых технологий — возникла потребность применения новых методов прогнозирования в области научно-технологического и инновационного развития [14, с. 78-79]. Форсайт как инструмент средне- и долгосрочного предвидения в значительной степени опирается на аппарат экспертизы и извлечения экспертного знания. Привлечение экспертов для разработки научно-технологических прогнозов является целесообразным, поскольку, во-первых, стандартные статистические методы и анализ больших массивов данных сами по себе не позволяют получать средне- и долгосрочные прогнозные оценки и строить сценарии развития предметной области, выявлять в ней качественные тенденции и прорывные инновации [15].
Во-вторых, представляется невозможным получение достоверной информации о предметной области и ее возможных траекториях развития в средне- и долгосрочной перспективе на основе анализа материалов открытых источников — патентных и библиографических баз данных, материалов ведущих национальных и зарубежных аналитических организаций, консалтинговых компаний, рейтинговых агентств, инвестиционных банков, органов государственного управления, независимых экспертов. Помимо этого, в таких исследованиях часто необходимо применять нестандартные, креативные подходы к анализу предметной области для получения качественно новых результатов.
Процедура подбора экспертов
Обеспечение качества экспертизы ex ante является ключевой задачей для рабочей группы исследования. При этом, как будет показано далее, оценка квалификации участников экспертных панелей в основном производится с помощью качественных, а не количественных методов.
В рамках настоящего исследования на основе рассмотренных ранее научных работ будет выдвинуто предположение о том, что принципы формирования случайной выборки не подходят для экспертных исследований, поскольку не учитывают уровень компетентности опрашиваемых специалистов. При случайном процессе отбора экспертов с ростом размера выборки точность результатов не будет увеличиваться. Более того, она может уменьшаться за счет привлечения к исследованию специалистов более низкого уровня квалификации. В силу этого
формирование экспертной базы должно осуществляться на основе принципов детерминированного экспертного отбора. Данный процесс состоит из нескольких этапов.
На первом этапе аналитическая группа при тесном взаимодействии с заказчиком разрабатывает критерии отбора экспертов. Итоговая цель этой работы — сформировать перечень высококвалифицированных специалистов, соответствующих по своим характеристикам разработанной «концепции эксперта», т. е. идеальному квалификационному и статусному образу эксперта для решения проблем в рамках конкретного исследования.
В научной литературе по проблемам взаимодействия с экспертами выделяются объективные и субъективные методы оценки квалификации экспертов (см., например, работу В. Я. Ельмеева, В. Г. Овсянникова по прикладной социологии [4, с. 201]). Объективные данные об экспертах связаны с их публикационной и патентной активностью в предметной области исследования, наличием ученой степени и ученого звания, представительством в ведущих организациях отрасли и сотрудничеством с ними, опытом успешного участия в профильных научных мероприятиях. Для оценки компетенции экспертов на документальной основе при необходимости может использоваться независимая квалифицированная оценка их достижений. Помимо этого, существует возможность проведения экспериментальной оценки на основе очного или дистанционного тестирования экспертов.
Субъективные способы оценки могут быть основаны на рекомендациях других специалистов в предметной области исследования, в том числе кономинации (взаимная оценка будущих экспертов в баллах или с помощью ранжирования), аттестации экспертов, оценки экспертами степени собственной компетентности и объективности (в ходе интервью или опроса). Например, в ходе шестого японского прогноза научно-технологического развития на основе метода Дельфи перед началом каждого из раундов опроса эксперты самостоятельно оценивали степень своей компетентности в каждой из предметных областей по трехзначной шкале, указанной в анкете [16, с. 6]. Аналогичным образом, только на основе пятизначной шкалы, проводилась самооценка экспертной квалификации в рамках британского метода Дельфи [17, с. 870]. Важным источником информации о кандидате может быть и участие в неформальных экспертных сетях, затрагивающих проблемы предметной области.
Важно отметить, что в качестве экспертов в форсайт-исследованиях выступают представители ведущих вузов (ректоры, проректоры, заведующие кафедрами, руководители лабораторий и специализированных центров на базе университетов), научно-исследовательских институтов (президенты, генеральные директора и их заместители, академики и члены-корреспонденты РАН, ведущие сотрудники), отраслевых компаний (председатели советов директоров, директора, главные инженеры, ведущие специалисты компаний), отраслевых ведомств (начальники управлений и департаментов, ведущие специалисты), консалтинговых компаний (партнеры разных уровней). Такой состав экспертных групп, например, наблюдался в ходе разработки долгосрочного прогноза научно-технологического развития Российской Федерации на период до 2030 г. [18, с. 39-40]. Стоит заметить, что критерии отбора экспертов в основном базируются на документальных данных о них.
На втором этапе проводится глубокий анализ данных открытых источников с тем, чтобы получить всю необходимую информацию о потенциальных экспертах и оценить их кругозор. В качестве первоисточников используются базы данных публикаций (Web of Science, Scopus). Помимо библиометрического анализа, производится патентный анализ, в ходе которого также выделяются ключевые тенденции научно-технологического и инновационного развития, наблюдающиеся в предметной области. Инструментом для него может служить, например, патентная база Orbit компании Questel. Важная часть подбора экспертов состоит и в комплексном изучении кадрового состава предприятий, научных и учебных организаций, связанных с рассматриваемой предметной областью. Помимо этого, исследуются материалы профильных интернет-сайтов, изучаются материалы конференций, круглых столов и других научных мероприятий с целью определения круга перспективных кандидатов для привлечения к работе в качестве экспертов при проведении форсайт-исследования.
Больший эффект при выборе экспертов может быть достигнут и за счет применения метода кономинации, или «снежного кома». Его суть заключается в подборе специалистов по рекомендациям других экспертов в рассматриваемой области, выявленных иными способами, на основе краткого дистанционного или очного опроса. По количеству рекомендаций, с помощью балльно-рейтинговой системы оценки или простого попарного ранжирования выделяется группа специалистов, рекомендованных наибольшим числом других экспертов, т. е. обладающая наибольшей степенью известности или признанности в профессиональной среде [19].
На третьем этапе по итогам процедур поиска экспертов формируется база данных, содержащая собранную информацию обо всех отобранных специалистах (рис. 1).
Опыт проведения форсайт-исследований, накопленный авторами настоящей статьи, показывает, что информация экспертной базы нуждается в постоянной актуализации и уточнении, в том числе посредством взаимодействия с экспертом в рамках текущего исследования.
В рамках четвертого этапа подбора экспертов на основе информации, внесенной в базу, происходит отбор экспертов в соответствии с установленными критериями. Как правило, проводится ранжирование экспертов по данным показателям. Каждый критерий, сформированный в рамках первого этапа процесса подбора экспертов, является фильтром для специалистов с недостаточным уровнем квалификации. Стоит заметить, что, как правило, привлекаемые эксперты обладают ученой степенью доктора или кандидата наук или эквивалентными им зарубежными учеными степенями.
После формирования перечня экспертов, удовлетворяющих предъявленным в исследовании квалификационным требованиям, рекрутеры аналитической группы проводят переговоры на предмет готовности и степени участия в проекте каждого из специалистов, удобной формы взаимодействия из числа возможных, временных ограничений для проведения экспертизы. Если эксперт не имеет возможности лично участвовать экспертных мероприятиях в рамках исследования, проводится дополнительная работа по выявлению экспертов, которых он мог бы порекомендовать для своей замены.
Рис. 1. Элементы экспертной базы данных, формируемой в рамках форсайт-исследования
Источник: составлено авторами.
На пятом этапе производится объединение специалистов, отобранных для участия в исследовании, в отдельные группы (экспертные панели) по каждому тематическому направлению в рамках предметной области исследования. На данном этапе необходимо учитывать требование диверсифицированности и сбалансированности отраслевой и секторальной структур принадлежности экспертного состава [14, с. 152-154].
Отдельное внимание при формировании экспертных групп, как правило, уделяется и психологическим особенностям экспертов (темперамент, наличие властно-подчиненных отношений в обычных условиях работы эксперта). На основе методики фильтрующего опроса проводится разбиение экспертов на группы в зависимости от их типа (ключевые информаторы, специальные респонденты, типичные представители, активные и пассивные типы респондентов). Этот момент имеет особую значимость, поскольку группа специалистов, сформированная как экспертная панель, функционирует одним и тем же составом в течение нескольких дискуссий вплоть до окончательного достижения всех поставленных в ходе форсайт-исследования задач [20].
После завершения процесса формирования исследовательских групп наступает этап собственно экспертных процедур.
Многообразие экспертных методов
Проведение экспертных процедур в рамках форсайт-исследований нацелено на извлечение неявного экспертного знания, формализованного в виде экспертных оценок. Каждый из методов работы с экспертами позволяет организовать процесс сбора их мнений в определенном направлении, способствующем наиболее оптимальному выполнению задач исследования. В форсайте, как правило, наибольшее внимание уделяется рыночной и технологической экспертизе предметной области. Для этого в системе его методов, формализованной в виде форсайт-ромба, выделен ряд способов работы с экспертами (рис. 2).
Рис. 2. Система методов форсайта Источник: составлено авторами на основе [21].
Экспертные процедуры могут быть коллективными (групповыми), индивидуальными и смешанными [22, с. 174]. Групповыми методами работы экспертов в рамках форсайта-исследования являются экспертные сессии (комиссии, дискуссии, круглые столы, совещания, семинары и конференции) на однократной или многократной (экспертные панели) основе, мозговые штурмы (атаки), деловые
игры. В свою очередь индивидуальные методы работы с экспертами заключаются в анкетировании на основе опросов (содержащих как закрытые, так и полузакрытые и открытые вопросы) или глубинном интервьюировании. Стоит заметить, что экспертный опрос может подразумевать и количественную оценку предметной области, например на основе рангов (ранжирования), непосредственной оценки в баллах или очках, сопоставления (парные, или бинарные, сравнения). В отдельных случаях могут быть также проведены фокус-группы или построен «прогноз гения» относительно будущих траекторий развития предметной области.
Важно заметить, что выстраивание последовательности различных типов экспертных процедур позволяет достичь оптимальных результатов в рамках исследования предметной области как с точки зрения качества и глубины результатов, так и с позиции финансовых затрат. Тем не менее целесообразно координировать процесс экспертной работы с результатами анализа больших данных для формирования наиболее точных консенсус-прогнозов развития предметной области в средне-и долгосрочной перспективе. Помимо этого, использование больших данных, математического и эконометрического моделирования позволяет верифицировать мнения, высказанные отдельными специалистами. Это достигается с помощью целенаправленной организации экспертных дискуссий.
Методика экспертной дискуссии
Экспертная дискуссия является эффективной формой организации группового взаимодействия специалистов в определенной предметной области, имеющей целью интенсификацию процесса выработки решения по определенному вопросу посредством обсуждения вариантов решения в целом или отдельных его компонентов [2, с. 89]. Дискуссия обеспечивает активное включение экспертов в поиск ответов на вопросы, поставленные в рамках исследования. Она создает условия для открытого выражения ими своих позиций в отношении обсуждаемой темы, обладает возможностью воздействия на первоначальные установки ее участников в процессе взаимодействия и тем самым способствует выработке согласованного решения.
Обсуждение начинается с предварительного этапа, где определяется тема, выносимая на экспертную дискуссию. Ответственным за подготовку материалов обсуждения участником, как правило, назначается член рабочей группы проекта или один из ведущих экспертов, хорошо знакомый с результатами, полученными на предыдущих этапах исследования, понимающий постановку задачи для следующих этапов и обладающий необходимой профессиональной квалификацией в рамках обсуждаемых вопросов.
На стадии формирования состава участников дискуссии следует приглашать тех экспертов, специализация и уровень квалификации которых будут соответствовать предмету обсуждения [23]. Помимо этого, необходимо учитывать принцип примерного соответствия статуса участников дискуссии [9]. Как правило, экспертные группы, сформированные на этапе подбора экспертов, уже удовлетворяют данным требованиям.
Желательно, чтобы дискуссия проводилась с участием профессионального модератора, имеющего социологическое образование и достаточный опыт прове-
дения аналогичных экспертных процедур. Предпочтительно, чтобы модератор не имел прямого отношения к обсуждаемой проблемной области, поскольку это дает ему право в равной степени обращаться к любому участнику дискуссии, независимо от его статуса, и исключает навязывание участникам собственной точки зрения (т. е. нивелирует эффект интервьюера) [10].
При работе с экспертами необходимо применять комплекс методов для мотивации высококвалифицированных специалистов к участию в экспертных мероприятиях исследования. Мотивацией к участию в дискуссии могут служить:
— представительный состав экспертов, ранее подтвердивших участие в дискуссии [24];
— выступление представителя организации-заказчика с объяснением важности и необходимости проводимого исследования, возможность обсуждения с заказчиком предложений по развитию отрасли, прямого или косвенного донесения своей позиции для лиц, принимающих решения;
— небольшие подарки экспертам, например сувениры с символикой проекта. Участие в дискуссии, как правило, не предполагает денежных выплат;
— возможность получить полный или частичный доступ к результатам исследования;
— упоминание об участии данного эксперта в итоговом отчете по проекту [25, с. 232].
После выбора методов мотивации экспертов необходимо разработать сценарий проведения дискуссии и перечень предполагаемых вопросов, выносимых на обсуждение, так называемый «гайд». Такой подход позволяет экспертам и модератору точно планировать свое время.
Для форсайт-исследования ключевым фактором успешного проведения экспертной панели является выбор метода работы с каждым отдельным экспертом. Важно заметить, что процесс извлечения экспертного знания направлен на получение объективизированных данных о предметной области, которые затруднительно получить на основе анализа материалов первоисточников. Поэтому в значительном числе форсайт-проектов применяются специализированные экспертные анкеты или паспорта, заполняемые в рамках отдельных экспертных процедур. Инструментарий обработки экспертных мнений, в свою очередь, включает комплекс моделей различного уровня сложности. С их помощью появляется возможность как верифицировать экспертные данные на основе объективных первоисточников, так и объединять весь собранный в ходе исследования материал для достижения наиболее качественных результатов.
Заключение
Опыт большинства прогнозных исследований на основе методов экспертизы показывает, что важнейшим фактором проведения успешного форсайт-исследования является формирование пула высококвалифицированных экспертов. Это помогает лучше оценить факторы, влияющие на развитие предметной области, а также выделить приоритетные пути развития компании или отрасли. Чем лучше эксперт будет соответствовать квалификационным требованиям, тем точнее и достовернее будет предоставленная им информация.
Для прогнозных исследований в области инноваций, науки и технологий процесс случайного подбора экспертов не обеспечивает достаточного уровня компетенции экспертной группы. В силу этого возникает необходимость в создании системы критериев для детерминированного формирования экспертных панелей. На рациональность такого подхода, как было показано во второй части настоящей работы, указывают ряд российских (В. Я. Ельмеев, В. Г. Овсянников, М. Б. Боков и др.) и зарубежных (Дж. Бейкер, О. Саритас и др.) исследователей. Авторами настоящей статьи был предложен алгоритм целенаправленного отбора экспертов, который прошел успешную апробацию в нескольких высокоуровневых форсайт-проектах: достоверность полученных в них результатов была подтверждена ex post при сравнении прогнозных и фактических явлений научно-технологического развития.
Дальнейшие исследования по проблеме обеспечения оптимального качества экспертизы в российских условиях могут идти в рамках трех направлений. Во-первых, отдельного внимания заслуживает проблема соотношения прогнозных оценок, полученных в результате анализа больших данных, с экспертными оценками при формировании консенсус-прогноза развития предметной области. Во-вторых, в литературе все еще не получила значительного внимания проблема поиска и систематизации источников «больших данных» для форсайт-исследований и критериев их применения. В рамках этого же направления имеет смысл исследовать и возможность автоматизации ряда этапов форсайта, в том числе в области поиска и анализа информации первоисточников.
Литература
1. Брумер В., Коннола Т., Сало А. Многообразие в форсайт-исследованиях. Практика отбора инновационных идей // Форсайт. 2010. Т. 4, № 4. С. 56-68.
2. Popper R. How are Foresight Methods Selected? // Foresight. 2008. Vol. 10, N 6. P. 62-89.
3. Троцук И. В. Отрицание экспертности как методическая проблема // Социология: 4М. 2009. № 29. С. 155-171.
4. Ельмеев В. Я., Овсянников В. Г. Прикладная социология: Очерки методологии. 2-е изд., испр. и доп. СПб.: Изд-во СПбГУ, 1999. 296 с.
5. Baker J., Lovell K., Harris N. How Expert are the Experts? An Exploration of the Concept of «Expert» within Delphi Panel Techniques // Nurse Researcher. 2006. Vol. 14, N 1. P. 59-70.
6. Рогозин Д. М., Яшина А. В. Фальсификация экспертности экспертного интервью // Телескоп: Журнал социологических и маркетинговых исследований. 2007. № 4. С. 32-45.
7. Масленников Е. В. Эксперт в социологическом исследовании // Вестник Московского ун-та. Сер. 18: Социология и политология. 1995. № 4. С. 69-82.
8. Sharoda A. Paul. Find an Expert: Designing Expert Selection Interfaces for Formal Help-Giving // CHI '16 Proceedings of the 2016 CHI Conference on Human Factors in Computing Systems. 2016. P. 3038-3048.
9. Боков М. Б. Специфика и процедуры получения прогнозного знания в форсайте // Социологические исследования. 2013. № 3. С. 74-84.
10. Saritas O. Participation in Technology Foresight: Using Expert and Stakeholder Panels // Preprint. 2007. URL: http://www.forschungsnetzwerk.at/downloadpub/foresight_expert_panels_ozcan_071107_114. pdf (дата обращения: 12.01.2017).
11. Meissner D., GokhbergL., Sokolov A. Science, Technology and Innovation Policy for the Future // Potentials and Limits of Foresight Studies. Springer-Verlag Berlin Heidelberg, 2013. P. 43-62.
12. Макарова Е. А., Соколова А. В. Лучшие практики оценки научно-технологического форсайта: базовые элементы и ключевые критерии // Форсайт. 2012. Т. 6, № 3. С. 62-75.
13. Makarova E., Sokolova A. Foresight Evaluation: Lessons from Project Management // Foresight. 2014. Vol. 16, N 1. P. 75-91.
14. Organization and Methods / UNIDO. Technology Foresight Manual, 2005.
15. Mapping Foresight. Revealing How Europe and Other World Regions Navigate into the Future / EFMN. Luxembourg: Publications Office of the European Union, European Commission, 2009. 128 p.
16. The Sixth Technology Forecast Survey — Future Technology in Japan Toward The Year 2025 // NISTEP (National Institute of Science and Technology Policy). 1997. Report N 52 URL: http://data.nistep.go.jp/ dspace/bitstream/11035/650/1/NISTEP-NR052-FullE. pdf (дата обращения: 12.01.2017).
17. Brandes F. The UK Technology Foresight Programme: an Assessment of Expert Estimates // Technological Forecasting & Social Change. 2009. Vol. 76, N 7. P. 869-879.
18. Доклад по результатам выполнения НИР по теме: «Формирование сети отраслевых центров прогнозирования научно-технологического развития на базе ведущих российских вузов по приоритетному направлению «Информационно-телекоммуникационные системы» / НИУ ИТМО. СПб., 2011. URL: https://www.hse.ru/data/2012/02/20/1263088841/Доклад_ИТМО. pdf (дата обращения: 12.01.2017).
19. Карасев О. И., Вишневский К. О., Веселитская Н. Н. Возможности использования методологии форсайта для разработки стратегических прогнозов отраслевого развития // Труды МАИ. 2012. № 53. URL: http://www.mai.ru/upload/iblock/ee2/primenenie-metodov-forsayta-dlya-vyyavleniya-prioritetov-tekhnologicheskogo-razvitiya-aviatsionno_promyshlennogo-kompleksa.pdf (дата обращения: 12.01.2017).
20. Tichy G. The Over-optimism Among Experts in Assessment and Foresight // Technological Forecasting and Social Change. 2004. Vol. 71, N 4. P. 341-363.
21. Поппер Р. Мониторинг исследования будущего // Форсайт. 2012. Т. 6, № 2. С. 56-74.
22. Рыбаков Ю. Л., Голубев В. П., Дивуева Н. А., Медведев В. И., Ефимов Б. И. Обзор существующих в научно-технической сфере экспертных технологий (из опыта работы отечественных экспертных систем) // Инноватика и экспертиза: научные труды. 2012. № 2. С. 173-182.
23. Масленников Е. В. Особенности отбора экспертов // Социология. 2010. № 2. С. 82-93.
24. Ambacher N. Corporate Foresight A Delphi Study on the Use of Methods of Future Studies // European Foresight Platform (EFP), 2012. Brief N 239 URL: http://www.foresight-platform.eu/wp-con-tent/uploads/2012/12/EFP-Brief-No.-239_Corporate-Foresight—A-Delphi-Study.pdf (дата обращения: 12.01.2017).
25. Петров А. Н., Рутковская И. Б., Мусатов А. А. Значимость факторов мотивации независимых экспертов при проведении экспертизы научно-технических проектов // Экономика науки. 2016. Т. 2, № 3. С. 231-236.
Для цитирования: Карасёв О. И., Китаев А. Е., Миронова И. И., Шинкаренко Т. B. Экспертные процедуры в форсайте: особенности взаимодействия с экспертами в проектах по долгосрочному прогнозированию // Вестник СПбГУ Социология. 2017. Т. 10. Вып. 2. С. 169-184. DOI: 10.21638/11701/spbu12.2017.203
References
1. Brumer V., Konnola T., Salo A. Mnogoobrazie v Forsait-issledovaniiakh. Praktika otbora innovatsionnykh idei [Diversity in Foresight: a Practice of Selection of Innovation Ideas]. Foresight-Russia, 2010, vol. 4, no. 4, pp. 56-68. (In Russian)
2. Popper R. How are Foresight Methods Selected? Foresight, 2008, vol. 10, no. 6, pp. 62-89.
3. Trotsuk I. V. Otritsanie ekspertnosti kak metodicheskaia problema [Denial of expertise as a methodological problem]. Sotsiologiia: 4M, 2009, no. 29, pp. 155-171. (In Russian)
4. El'meev V. Ia., Ovsiannikov V. G. Prikladnaia sotsiologiia: Ocherki metodologii [Applied Sociology: Essays on Methodology]. 2nd ed. St. Petersburg, St. Petersburg University Press, 1999. 296 p. (in Russian)
5. Baker J., Lovell K., Harris N. How Expert are the Experts? An Exploration of the Concept of «Expert» within Delphi Panel Techniques. Nurse Researcher, 2006, vol. 14, no. 1, pp. 59-70.
6. Rogozin D. M., Iashina A. V. Fal'sifikatsiia ekspertnosti ekspertnogo interv'iu [Falsification of the expertise of an expert interview]. Teleskop: Zhurnal sotsiologicheskikh i marketingovykh issledovanii. 2007, no. 4, pp. 32-45. (In Russian).
7. Maslennikov E. V. Ekspert v sotsiologicheskom issledovanii [Expert in sociological research]. Vestnik Moskovskogo universiteta, Ser. 18: Sociology. Politology, 1995, no. 4, pp. 69-82. (In Russian)
8. Sharoda A. Paul. Find an Expert: Designing Expert Selection Interfaces for Formal Help-Giving. CHI '16 Proceedings of the 2016 CHI Conference on Human Factors in Computing Systems, 2016, pp. 3038-3048.
9. Bokov M. B. Spetsifika i protsedury polucheniia prognoznogo znaniia v forsaite [Specificity and predictive procedures for obtaining knowledge of foresight]. Sotsiologicheskie issledovaniia, 2013, no. 3, pp. 7484. (In Russian)
10. Saritas O. Participation in Technology Foresight: Using Expert and Stakeholder Panels. Preprint. 2007. Available at: http://www.forschungsnetzwerk.at/downloadpub/foresight_expert_panels_oz-can_071107_114.pdf (accessed: 12.01.2017). (In Russian)
11. Meissner D., Gokhberg L., Sokolov A. Science, Technology and Innovation Policy for the Future. Potentials and Limits of Foresight Studies. Springer-Verlag Berlin Heidelberg, 2013, pp. 43-62.
12. Makarova E. A., Sokolova A. V. Luchshie praktiki otsenki nauchno-tekhnologicheskogo Forsaita: ba-zovye elementy i kliuchevye kriterii [Best practices of evaluating scientific and technological foresight: basic elements and key criteria]. Foresight, 2012, vol. 6, no. 3, pp. 62-75. (In Russian)
13. Makarova E., Sokolova A. Foresight Evaluation: Lessons from Project Management. Foresight, 2014, vol. 16, no. 1, pp. 75-91.
14. Organization and Methods. UNIDO. Technology Foresight Manual, 2005.
15. Mapping Foresight. Revealing How Europe and Other World Regions Navigate into the Future. EFMN. Luxembourg, Publications Office of the European Union, European Commission, 2009. 128 p.
16. The Sixth Technology Forecast Survey — Future Technology in Japan Toward The Year 2025. NISTEP (National Institute of Science and Technology Policy), 1997. Report N 52 Available at: http://data.nistep.go.jp/ dspace/bitstream/11035/650/1/NISTEP-NR052-FullE. pdf (accessed: 12.01.2017).
17. Brandes F. The UK Technology Foresight Programme: an Assessment of Expert Estimates. Technological Forecasting & Social Change, 2009, vol. 76, no. 7, pp. 869-879.
18. Doklad po rezul'tatam vypolneniia NIR po teme: «Formirovanie seti otraslevykh tsentrov prog-nozirovaniia nauchno-tekhnologicheskogo razvitiia na baze vedushchikh rossiiskikh vuzov po prioritetnomu napravleniiu «Informatsionno-telekommunikatsionnye sistemy». NIUITMO [Report of the research: «Forming a network of industry centers for forecasting scientific and technological development on the basis of leading Russian universities in the "Information and Telecommunication Systems" area]. NIU ITMO St. Petersburg, 2011. Available at: https://www.hse.ru/data/2012/02/20/1263088841/Doklad_ITMO. pdf (accessed: 12.01.2017). (In Russian)
19. Karasev O. I., Vishnevskii K. O., Veselitskaia N. N. Vozmozhnosti ispol'zovaniia metodologii Forsaita dlia razrabotki strategicheskikh prognozov otraslevogo razvitiia [The possibility of using foresight methodologies for the development of strategic forecasts of sectoral development]. Trudy MAI, 2012, no. 53. Available at: http://www.mai.ru/upload/iblock/ee2/primenenie-metodov-forsayta-dlya-vyyavleniya-prior-itetov-tekhnologicheskogo-razvitiya-aviatsionno_promyshlennogo-kompleksa.pdf (accessed: 12.01.2017). (In Russian)
20. Tichy G. The Over-optimism Among Experts in Assessment and Foresight. Technological Forecasting and Social Change, 2004, vol. 71, no. 4, pp. 341-363.
21. Popper R. Monitoring issledovaniia budushchego [Mapping Futures Studies]. Foresight-Russia, 2012, vol. 6, no. 2, pp. 56-74. (In Russian)
22. Rybakov Iu. L., Golubev V. P., Divueva N. A., Medvedev V. I., Efimov B. I. Obzor sushchestvuiush-chikh v nauchno-tekhnicheskoi sfere ekspertnykh tekhnologii (iz opyta raboty otechestvennykh ekspert-nykh sistem) [A review of existing scientific and technical field of expert technologies (experience of the Russian expert systems)]. Innovatika i ekspertiza: nauchnye Trudy [Innovatics and Expert Examination: research work], 2012, no. 2, pp. 173-182. (In Russian)
23. Maslennikov E. Osobennosti otbora ekspertov [Features of selection of experts]. Sotsiologiia, 2010, no. 2, pp. 82-93. (In Russian)
24. Ambacher N. Corporate Foresight A Delphi Study on the Use of Methods of Future Studies. European Foresight Platform (EFP), 2012. Brief N 239. Avilable at: http://www.foresight-platform.eu/wp-content/ uploads/2012/12/EFP-Brief-No.-239_Corporate-Foresight—A-Delphi-Study.pdf (accessed: 12.01.2017).
25. Petrov A. N., Rutkovskaia I. B., Musatov A. A. Znachimost' faktorov motivatsii nezavisimykh ekspertov pri provedenii ekspertizy nauchno-tekhnicheskikh proektov [The significance of the factors of motivation of independent experts when carrying out examination of scientific and technical projects]. Ekonomika nauki, 2016, vol. 2, no. 3, pp. 231-236. (In Russian)
For citation: Karasev O. I., Kitaev A. E., Mironova I. I., Shinkarenko T. V. Expert procedures in foresight: interaction with expert professionals during long-term forecasting research. Vestnik SPbSU. Sociology, 2017, vol. 10, issue 2, pp. 169-184. DOI: 10.21638/11701/spbu12.2017.203
Статья поступила в редакцию 15 января 2017 г.
Статья рекомендована в печать 27 марта 2017 г.
Контактная информация:
Карасев Олег Игоревич — кандидат экономических наук; [email protected] Китаев Арсений Евгеньевич — студент магистратуры; [email protected] Миронова Ирина Игоревна — студент магистратуры; [email protected] Шинкаренко Татьяна Викторовна — ведущий экономист; [email protected]
Karasev Oleg I. — PhD; [email protected] Kitaev Arsenii E. — Master student; [email protected] Mironova Irina I. — Master student; [email protected] Shinkarenko Tatiana V. — Leading Economist; [email protected]
