CC BY
235
УДК 338.001.36
DOI: http://dx.doi.org/10.21686/2500-3925-2019-4-4-13
О.И. Карасев, Е.И. Муканина
Московский государственный университет имени М.В. Ломоносова,
Москва, Россия
Метод экспертных оценок в форсайт-исследованиях
Цель исследования. Основная цель данного научного исследования заключается в том, чтобы определить ключевые аспекты экспертных оценок и предложить качественные рекомендации по их улучшению.
Материалы и методы. Форсайт строится на основе метода экспертных оценок, включает в себя: активное формирование образа будущего вместо его вероятностного предсказания, нацеленность на определение ключевых приоритетов развития, участие в исследовании ключевых стейкхолдеров, взаимосвязь с процессом принятия управленческих решений. Используемые методы анализа в работе предполагают методы теоретического исследования в виде анализа и моделирования. В ходе исследовательской работы были решены следующие задачи: во-первых, сформирована модель «Эксперт» на основе необходимых и достаточных критериев отбора респондентов в форсайт-исследование; во-вторых, выявлены основные характеристики метода Дельфи для консенсус решений в экспертных группах. В научно-исследовательской работе рассмотрены разные источники информации, которые стали основой для дальнейшего развития экспертной модели, опираются на комплексный подход, базирующийся на статистической, социологической и экономической области наук. Результаты. На основе библиометрического анализа были выделены важные критерии отбора экспертов: практическая составляющая, теоретическая составляющая, творческая составляющая, оценка принадлежности к области исследования, оценка работы в исследовании, корректировка результатов. Релевантность отбора эксперта значительно влияет на результат форсайта, следовательно, возникает необходимость во взвешенном подборе респондентов в исследование. Форсайт исследования имеют отличительную особенность от других
направлений в том, что результатом становится достижение консенсуса между экспертами в предметной области. Лица принимающие решения привлекаются из трех сфер деятельности — бизнес, государство, наука. В связи с этим были сформированы критерии отбора респондентов, которые предполагают необходимые и достаточные условия. Под необходимыми критериями понимаются такие параметры, без соблюдения которых характеристики эксперта не позволяют респонденту являться экспертом для данного исследования. Достаточное условие участия лица принимающего решения в форсайт-анализе подразумевает такие критерии отбора, которые являются дополняющими характеристиками эксперта, не нуждающимися в доказательности того, что эксперт является подходящим специалистом для конкретного исследования. В результате, выявлены четыре необходимых критерия отбора экспертов в группы, а также индивидуальные достаточные критерии для каждой группы. Рассмотрен процесс проведения метода Дельфи, определены достоинства и недостатки, на основе которых предложен результирующий показатель — индекс достоверности форсайт-исследований.
Заключение. Методика подбора экспертов позволяет комплексно подойти к проблеме в области формирования экспертных групп на основе внедрения цифровых технологий, которые улучшают качественную характеристику проведения форсайт-исследований. Индекс достоверности, как результирующий показатель, определяет объективность проведенного исследования на основе экспертных оценок.
Ключевые слова: форсайт, метод экспертных оценок, индекс достоверности
Oleg I. Karasev, Ekaterina I. Mukanina
Lomonosov Moscow State University, Moscow, Russia
Expert assessment method in foresight studies
Purpose of the study. The main goal of this research is to identify key aspects of expert assessments and offer high-quality recommendations for their improvement.
Materials and methods. Foresight is built on the basis of expert assessment method, includes: active formation of the image of the future instead of its probabilistic prediction, focus on identifying key development priorities, participation in the study of key stakeholders, the relationship with the management decision-making process. The methods of analysis used in the work suggest methods of theoretical research in the form of analysis and modeling. In the course of the research, the following tasks were solved: firstly, the Expert model was formed based on the necessary and sufficient criteria for selecting respondents to the foresight study; secondly, the main characteristics of the Delphi method for consensus decisions in expert groups were identified. The research work considers various sources of information, which became the basis for the further development of the Expert model, based on an integrated approach based on the statistical, sociological and economic fields of science.
Results. On the basis of bibliometric analysis, important criteria for the selection of experts were highlighted: a practical component, a theoretical component, a creative component, an assessment of belonging to a field of study, an assessment of work in a study, an adjustment of results. The relevance of the selection of an expert greatly influences the result of the foresight, therefore, there is a need for a balanced selection of respondents to the study. Foresight studies
have a distinctive feature from other areas in that the result is the achievement of consensus between experts in the subject area. Decision makers are drawn from three areas of activity - business, government, science. In this regard, criteria for the selection of respondents were formed, which imply the necessary and sufficient conditions. The necessary criteria are understood as such parameters, without which the characteristics of the expert do not allow the respondent to be an expert for this study. A sufficient condition for the participation of the decision maker in the foresight analysis implies such selection criteria, which are complementary characteristics of the expert, which do not need to prove that the expert is a suitable expert for a specific study. As a result, four necessary criteria for the selection of experts for groups were identified, as well as individual sufficient criteria for each group. The process of carrying out the Delphi method is considered, the advantages and disadvantages are determined, on the basis of which the resulting indicator is proposed - the foresight research reliability index.
Conclusion. The method of selection of experts allows a comprehensive approach to the problem in the field of formation of expert groups based on the introduction of digital technologies that improves the qualitative characteristics of foresight research. The confidence index, as a result indicator, determines the objectivity of the study based on expert assessments.
Keywords: foresight, expert assessment method, confidence index
Введение
Форсайт строится на основе методов экспертных оценок. Данный метод относится к области научных знаний — статистике, и предполагает выстраивание процессов работы с экспертами, а также обработку результатов экспертов.
Важной характеристикой метода экспертных процедур стоит отметить выстраивание полноценного организационного процесса, где осуществляется попытка перевести качественный анализ в количественную оценку экспертов для структурирования суждений. Результирующее знание экспертов исследования применяется в тех случаях, когда возникает сложная ситуация в области принятия стратегических решений, в условиях отсутствия объективной информации. В таком случае, привлекаются высококвалифицированные экспертные группы, которые вырабатывают аргументированное единое решение по спорному вопросу. Актуальность данной проблематики велика в условиях нестабильной экономической и политической ситуации в мире. Вопрос о том, кто должен решать и выстраивать стратегические решения по возникающим вопросам, каким методом высококвалифицированных специалистов привлекать к участию и как оценить эффективность принятых решений становится актуальной проблемой сегодня.
Данными аспектами занимаются ученые со всего мира. В целом стоит отметить, что научные деятели определили критерии отбора респондентов, которые включают практическую составляющую, теоретическую составляющую, творческую составляющую, оценку принадлежности к области исследования, оценку работы в исследовании, корректировку результатов. [1—13] Авторский подход нацелен на
отбор экспертов для решения конкретных задач в форсайт-исследованиях, следовательно, предлагаются критерии для групп лиц, принимающих решения из бизнеса, государства и науки. Также рассматривается метод Дельфи с учетом достоинств и недостатков [14—25], как метода консенсус-прогнозов в экспертных группах, результатом которого является предложение о внедрении показателя результативности экспертных оценок — индекса достоверности.
В данном научном исследовании решаются две ключевые задачи, которые выражены в построении модели «Эксперт» на основе необходимых и достаточных критериев отбора респондентов в форсайт-исследование, а также выявлении основных характеристик метода Дельфи для консенсус решений в экспертных группах.
1. Модель «Эксперт» в экспертной группе
Область экспертных оценок считается молодым направлением в современной науки. Ключевым элементом в Форсайт-исследованиях является экспертное мнение. Значимым вопросом в данной области становится решение двух основные задач:
1. необходимость найти компетентных экспертов, которые обладают высокими знаниями, умения и навыками, как в теоретической, так и в практической области исследования;
2. выбор метода подбора экспертов в группу форсайт-проекта для решения конкретно поставленной задачи.
Важными параметрами для анализа существующих работ (источников информации) в области экспертных процедур и формирования образа эксперта будут выделены основные характеристики эксперта для исследования и критерии отбора эксперта.
Ученые в области специализированного поиска экспертов для исследования Collopy F., Adya M., Armstrong J.S. говорят о том, что важным критерием отбора респондента является количество публикаций в предметной области.[1] Однако другие условия отбора существенно отличаются. Первая группа авторов склонна учитывать количественную и качественную составляющую исследовательских работ, применять метод анализа протокола, который характеризуется подробным описанием факторов при принятии решений, а также использовать интервью и опросы респондентов. Данный подход основывается на том, что эксперт обладает комплексным знанием в предметной области и имеет индивидуальное мнение по конкретному вопросу. [1] Вторая группа ученых выделяет необходимые критерии для экспертов, как формальная информация об эксперте, отраженная в резюме, индекс цитируемости, рейтинг по упоминаниям респондентов и сотрудников в корпоративных связях.
Ключевым критерием отбора экспертов в работе Shanteau J. является практический опыт в предметной области, который основывается на приобретенных комплексных знаниях и умениях респондента. Эксперт, обладающий навыками в предметной области, имеет возможность оценить релевантную информацию от всей существующей, на таком же уровень, как эксперт с теоретическими знаниями. [2] Американский ученый в области менеджмента предлагает использовать метод оценки выявленного тренда или предположения путем присвоения коэффициентов тому или иному событию, который может произойти по мнению эксперта. Данный способ направлен на принятие взвешенного решения в процессе экспертной оценки. Также важным эле-
ментом является при отборе респондента должность индивида, и в большинстве случаев Robert W. Blanning говорит о том, что стоит опрашивать управленческий состав, который имеет специальные знания для оценки конкретного суждения. [3]
Современные ученые в области экспертных оценок предлагают конструировать ситуационную модель с присвоением экспертам определённых ролей таких, как исследователь, педагог, принимающий и практикующий решения респондент. В итоге исследования выявлять результативность экспертизы в соответствии с предложенными ролями. Основные характеристики эксперта в данной процессе определяют психологический хи-квадрат, метод сравнения экспертов, совместимость группы респондентов, коммуникабельность, риски, соотношение мнений с групповым мнением. [4]
Российские исследователи в области экспертных оценок предлагают концептуально другие решения. Чернышева Т.Ю. построила иерархическую модель оценки и отбора экспертов. Важной характеристикой респондента определен широкий кругозор и знание в предметной области. Для отбора экспертов сформированы критерии отбора в виде уровня образования респондента, опыта работы по профилю в предметной области, способности решать творческие задачи и опыта участия в экспертном оценивании, административная и экономическая независимость по профилю. [5]
В работе Масленникова Е.В. прослеживается характерная особенность эксперта, как носителя компетентного знания, который способен творчески мыслить. Для того, чтобы определить лицо принимающее решение были разработаны критерии отбора в
виде эрудиции, компетентности, креативности, отношении к экспертизе, конструктивно -сти мышления, конформизма, теоретической подготовки. [6] Также стоит отнести к траектории такого подхода ученых, как Горшкова М.К., Шереги Ф.Э., Орлова А.И. Основой для отбора экспертов становится компетентность, которая, по мнению Горшкова М.К. и Шереги Ф.Э., подразделяется на самооценку специалиста, которую эксперт присваивает себе в конкретной области, и коллективную оценку авторитетности эксперта в определенной группе. Орлов А.И. определяет данные понятия через самокритичность и конформизм. Мнение ученых Масленникова Е.В. и Орлова А.И. сходится по позиции формирования критерия, как мышление, креативность, что является основой для творческого начала. Данная характеристика определяется в умения использовать интуицию. Однако эксперт, в научных работах Горшкова М.К. и Шереги Ф.Э., является компетентное лицо, у которого профессиональная деятельность связана с областью исследования, а также умением давать взвешенную оценку. Данные характеристики определяются через дополнительные критерии, например, род занятий, стаж работы по профилю, уровень квалификации респондента. Орлов А.И. считает значимым критерием отношение к экспертизе, конструктивность и коллективизм. [7]
Ученые Лясковский В.Л., Смирнов С.С., Пронин А.Ю. определяют характерной особенностью эксперта комплекс теоретических знаний и практического опыта в предметной области. Ключевыми критериями отбора эксперта для исследования определены данными учеными в виде оценки квалификации, оценки аргументации, оценки компетентности, корректировка коэффициента
компетентности другими экспертами из группы. [8]
О.И. Ларичев, В.К. Морго-ев говорят о том, что умение эксперта находятся на подсознательном уровне, также выделяют важную характеристику специалиста в способности ошибаться в области прогнозирования. Основным критерием отбора респондентов становится уровень компетентности. [9] Также стоит отметить, что Кукушкина С.Н. считает, что компетентность является базовым критерием. Однако добавляет критерии отбора специалистов в виде уровня квалификации, мышления, эрудиции и креативности, что схоже с мнением Масленникова Е.В. Эксперт становится носителем ретро -спективной, настоящей и будущей информации, которая при большем объеме приближается к истинному суждению об объекте. [10]
Сидельников Ю.В. вводит новые критерии для отбора респондентов в экспертную группу. Важными параметрами является степень устойчивости мнения, которая определяет индивидуальную позицию в исследуемой области респондента и максимально обособленную точку зрения от результатов других экспертов. Также имеет весомое значение опыт работы и уровень знаний эксперта. Отличительным критерием от предыдущих авторов является уровень способности к декомпозиции и синтезу, который предполагает умение обобщать и анализировать результаты других экспертов. Основная цель данного критерия направлена на уход от крайних точек, позиций по определенной тематике (оптимистических и пессимистических), и выработки единого мнения в результате исследования. [11]
По мнению Гуцыко-вой С.В., главной отличительной характеристикой эксперта от обывателя является наличие непрозрачного мышления.
Автор выделяет следующие критерии для отбора респондента, как объективные качества индивида, самооценка, профессиональный уровень, стаж работы и квалификация. Также была классифицирована методика экспертной оценки, во-первых, присвоение веса эксперту по выявленным критериям, во-вторых, степень влияния одного эксперта на групповое мнение [12]
Группа специалистов в области форсайта предложила авторскую концепцию эксперта, которая основывается на базе высокой квалификации респондента, максимально стремящаяся к идеальной в предметной области. Ключевыми критериями отбора респондентов для исследования выделены общая информация, экспертный опыт, публикационная активность, патентная активность, образование и работа. [13]
В результате анализа источников информации по проблеме экспертных оценок можно сделать вывод, что на данный момент не существует единого мнения в области того, какими универсальными характеристиками должен обладать респондент, и какие абсолютные критерии необходимы для отбора в экспертную группу. В ходе обзора литературы было отмечено, что каждое исследование в области экспертных оценок проходит новый этап, когда добавляются модернизированные классификации по критериям, формируются нестандартные характеристики экспертов, которые закладывают основу для дальнейшей работы. Следует выделить области для критериев отбора экспертов, которые были предложены учеными: практическая составляющая, теоретическая составляющая, творческая составляющая, оценка принадлежности к области исследования, оценка работы в исследовании, корректировка результатов. Также стоит отме-
тить, что большая часть авторов говорит о том, что важно правильно выбрать эксперта для исследования, в противном случае результаты становятся нерелевантными.
Форсайт исследования имеют отличительную особенность от других направлений в том, что результатом становится достижение консенсуса между экспертами в предметной области. Лица принимающие решения привлекаются из трех сфер деятельности — бизнес, государство, наука, с целью объективно подойти к решению поставленной задачи. В связи с этим были сформированы критерии для экспертов из разных областей.
Введем классификацию критериев отбора респондентов, разделив на необходимые и достаточные. Под необходимыми критериями понимаются такие параметры, без соблюдения которых характеристики эксперта не позволяют респонденту являться экспертом для данного исследования. Достаточное условие участия лица принимающего решения в форсайт-анализе подразумевает такие критерии отбора, которые являются дополняющими характеристиками эксперта, не нуждающимися в доказательности того, что эксперт является подходящим специалистом для конкретного исследования.
На основе проанализированных источников информации, были определены области для формирования критериев эксперта. Практическая и теоретическая составляющие, а также оценка принадлежности к области исследования являются ключевыми критериями для формирования образа эксперта для форсайт-исследования. Однако творческая составляющая имеет отрицательную сторону в том, что возникает проблема в виде объективности оценки. А также в том, кто именно должен оценивать данные характеристики эксперта. Следователь-
но, данный блок не является значимым для подбора специалистов в форсайте. Оценка работы лица принимающего решения в исследовании также не является критически необходимым и достаточным условием участия в экспертизе, потому как относится не к этапу подготовки и формирования экспертной группы, а к процессу исследования. Таким образом, данные критерии, которые принадлежат к оценки работы, не могут быть включены для отбора экспертов для форсайт-исследования. Также стоит отметить, что корректировка результатов является ключевым элементом для форсайта и заложена в методе Дельфи, который относится к методологии построения процесса анализа данных, но к отбору конкретного эксперта не может быть включено.
Из этого следует, что для форсайта требуется учитывать критерии из области практической составляющей, теоретической составляющей, оценки принадлежности к предметной области. Необходимыми критериями для отбора экспертов выделим специализацию, образование, стаж работы, компетентность. Под специализацией респондента стоит понимать область сферы деятельности (бизнес, государство, наука), в которой эксперт имеет высокий уровень компетенций. Образование и стаж работы формируют необходимый критерий для отбора в форсайт-исследовании. Также значимо учитывать мнение специалиста в том, что он является экспертом в предложенной области. Данный критерий предполагает самооценку и выражается в критерии компетенции. Данные критерии отбора экспертов являются необходимыми условиями отбора в экспертную группу, как для специалистов из бизнеса, так и государства, и науки.
Достаточные критерии отбора отличаются у трех групп
экспертов. Специалисту из сферы науки требуется иметь ученую степень и звание, количество публикаций в предметной области, количество научно-исследовательских работ (НИР), количество опытно-конструкторской работы (ОКР), количество научно-исследовательской и опытно-конструкторской работы (НИОКР), количество выступлений в предметной области исследования на конференциях, симпозиумах и других значимых мероприятиях. Также стоит отметить, как важный критерий отбора, индекс Хирша (й-индекс), g-индекс, /-индекс, индекс цитирования в базах Scopus, e-Library, Web of Science. Индекс g отражает наибольшее число, при котором g самых цитируемых статей суммарно получают не менее g2 цитирований. Индекс i принимает свое значение, если не менее i ученых из этой ор-
ганизации имеют й-индекс не менее самого значения i. В рамках научного исследования будет использоваться, как критерий отбора экспертов из научной сферы, индекс Хир-ша, так как он рассчитывается во всех базах данных и является наиболее значимым в международной практике. Также стоит отметить, что /-индекс не подходит для оценки конкретного эксперта, потому как отражает публикационную активность организаций на основе библиометрических показателей и не показывает значение выбранного респондента.
Достаточным критерием для респондентов из сферы науки дополнительно отнесем количество результатов интеллектуальной деятельности, к которым принадлежат патенты и ноу-хау, а также членство в профильных журналах, сборниках, программных комите-
тах, научных сообществах.
Достаточные критерии отбора экспертов из сфер бизнеса и государства имеют схожие показатели. Для форсайт-исследования следует учитывать должность специалиста, который занимает руководящую позицию в организации. Также эксперт должен быть лицом, принимающим стратегические решения. Респондент для форсайт-исследования относится к планово-стратегическим отделам или высшим руководителям, которые формируют стратегические задачи в организации. Лица из производственного, технического, кадрового и других отделов, не относящихся к стратегическому развитию организации, не учитываются в форсайт-исследовании. К достаточным критериям следует отнести количество реализуемых проектов в предметной области, количество выступлений на внешних
Таблица 1
Модель «Эксперт». Критерии отбора экспертов в форсайт-исследование
Эксперт
Сфера деятельности/ Тип критерия Бизнес Государство Наука
■ s Специализация Специализация Специализация
д О « Образование Образование Образование
<S á о s е Стаж работы Стаж работы Стаж работы
я Компетентность Компетентность Компетентность
Должность Должность Ученая степень, ученое звание
Количество реализуемых проектов в предметной области Количество реализуемых проектов в предметной области Количество публикаций в предметной области
S S Количество научно-исследовательских работ, опытно-конструкторских работ, научно-исследовательских и опытно-конструкторских работ (НИР, ОКР, НИОКР) Количество выступлений на внешних мероприятиях с предметной тематикой Количество научно-исследовательских работ, опытно-конструкторских работ, научно-исследовательских и опытно-конструкторских работ (НИР, ОКР, НИОКР)
н S а « 3 8 tr g а т Количество выступлений на внешних мероприятиях с предметной тематикой Членство в профессиональных сообществах и т.п. Количество выступлений на конференциях, симпозиумах и других мероприятиях с предметной тематикой
с о 4 Количество результатов интеллектуальной деятельности (патенты, ноу-хау) Индекс Хирша (й-индекс)
Членство в профессиональных сообществах и т.п. Количество результатов интеллектуальной деятельности (патенты, ноу-хау)
Членство в редколлегии журналов, сборников; членство в программных комитетах, научных сообществах и т.п.
Источник: подготовлено авторами.
Ранжирование экспертов в форсайт-исследовании
Категория эксперта / Сфера деятельности Бизнес Государство Наука
Первая квалификационная категория 0—2,25 баллов 0—2 балла 0—3,25 баллов
Вторая квалификационная категория 2,25—5 баллов 2—4 балла 3,25—6, 5 баллов
Третья квалификационная категория 5—7,25 баллов 4—6 баллов 6,5—9,75 баллов
Высшая квалификационная категория 7,25—10 баллов 6—8 баллов 9,75—11 баллов
ИТОГО 10 баллов 8 баллов 11 баллов
Источник: подготовлено авторами.
мероприятиях с предметной тематикой исследования, а также членство в профессиональных сообществах, количество научно-исследовательских работ, опытно-конструкторских работ, научно-исследовательских и опытно-конструкторских работ (НИР, ОКР, НИОКР), а также количество результатов интеллектуальной деятельности (патенты, ноу-хау).
Комплексная модель «Эксперт» представлена в табл. 1, которая учитывает необходимые и достаточные критерии отбора экспертов для форсайт-исследования из разных сфер деятельности: бизнеса, государства и науки.
Важное условие для реализации модели «Эксперт»: каждый эксперт проходит отбор в рамках своей группы и не сравнивается с экспертами из других групп.
Необходимые и достаточные критерии отбора экспертов определяются интервалом от 0 до 1 балла. Специализация респондента имеет следующие оценки: 0 баллов — не подходит в экспертную группу, 1 балл — подходит в экспертную группу. Критерию образования присваивается: 0 баллов — средний уровень образования и ниже; 1 балл — высшее образование и выше уровень образования. Стаж работы: 0 баллов — нет опыта работы в предметной области; 0,25 баллов — опыт работы 0—5 лет; 0,5 баллов — опыт работы 5—10 лет; 0,75 баллов — опыт работы 10—15 лет; 1 балл — опыт работы более 15 лет. Компетентность оценивается экспертом самостоятельно и выражается в 0 баллов — нет, не компетентен в предметной области; 1 балл — да, компетентен в предметной области.
Достаточные критерии имеют следующие оценки. Должность для экспертов из государства и бизнеса ранжируется: 0 баллов — работник; 0,33 баллов — руководитель низового звена (операционный менед-
жер); 0,66 баллов — руководитель среднего звена; 1 балл — руководитель высшего звена (топ-менеджер). Эксперты из научной сферы оцениваются по критерию ученой степени и ученого звания: 0 баллов — нет ученой степени и ученого звания; 0, 25 баллов — кандидат экономических наук (к.э.н) или к.э.н., доцент; 0,5 — к.э.н., профессор; 0,75 баллов — д.э.н., доцент; 1 балл — д.э.н., профессор. Количество реализуемых проектов в предметной области у экспертов из бизнеса и государства сопоставимо с количеством публикаций в предметной области у экспертов из научной сферы и определяется следующим образом: 0 баллов — нет работ; 0,5 балла — 0—5 ед.; 1 балл — более 5 ед. Количество научно-исследовательских работ, опытно-конструкторских работ, научно-исследовательских и опытно-конструкторских работ (НИР, ОКР, НИОКР) у респондентов из бизнеса и науки соответствует: 0 баллов — нет; 1 балл — есть. Критерий по количеству выступлений на мероприятиях с предметной тематикой выделен у трех экспертных групп и оценивается:
0 баллов — нет выступлений; 0,5 баллов — 0—5 ед.; 1 балл — более 5 ед. Количество результатов интеллектуальной деятельности (патенты, ноу-хау) характерны для экспертов из бизнеса и науки: 0 баллов — нет; 0,5 баллов — 0—5 ед.;
1 балл — более 5 ед. Индекс
Таблица 2
Хирша (й-индекс) оценивается у экспертов-науки: 0 баллов — 0 (й-индекс); 0,25 баллов — 0—5 (й-индекс); 0,5 баллов — 5—10 (й-индекс); 0,75 баллов — 10— 15 (й-индекс); 1 балл — более 15 (й-индекс). Членство в профессиональных сообществах выявлен критерий для трех групп экспертов: 0 — нет; 1 — есть.
Следовательно, эксперты из бизнес-сферы могут набрать максимальное количество баллов — 10 баллов; из государства — 8 баллов; из науки — 11 баллов. В результате, респонденты классифицируются по четырем экспертным группам (см. таб. 2).
Таким образом, для форсайт-исследования отбираются эксперты из третьей квалификационной категории и высшей квалификационной категории.
2. Дельфи как метод консенсус решения в экспертных группах
Одним из значимых методов экспертных оценок, который направлен на достижение консенсус решения внутри экспертной группы стал метод Дельфи.
Метод Дельфи представляет многоуровневый анализ экспертных данных, который нацелен на повышение уровня согласованности экспертного мнения относительно общей групповой оценки. [10] Данный метод позволяет объеди-
нить теоретиков и практиков в экспертную группу в целях формирования единого направления развития предлагаемой области. [14]
Важным элементом для проведения Дельфи является выбор компетентных экспертов для исследования, так как это влияет на уровень индивидуальной и групповой оценки, а также аргументации выбранной позиции. Каждый респондент обладает умениями, навыками и компетенциями, которые определяют субъективную точку зрения на поставленный вопрос. Однако экспертная группа формируется таким образом, чтобы минимизировать субъективную оценку и выработать общую предпочтительную оценку в конкретной области исследования. [10]
Главным преимуществом метода Дельфи следует выделить много раундовые опросы экспертов, которые позволяют в итоге достигнуть консенсуса. Существует много авторских мнений по поводу того, какие этапы проходит метод Дельфи в процессе экспертного исследования. [11, 15] В целом, определим основные этапы реализации метода Дельфи: подготовка, проведение опроса, результаты. Организация этапа подготовки заключается в том, чтобы сформулировать основные цели и задачи исследования; выработать утверждения для того, чтобы эксперт оценил по выбранной шкале; определить приоритетные критерии выбранным темам исследования; предварительная работа с респондентами по поводу условий работы, видов коммуникации, сроков исследования и т.д.
Первый раунд проходит в закрытом доступе (Off-line), который предполагает индивидуальную работу эксперта с предложенной анкетой в любое удобное время в пределах поставленных сроков проведения этапа исследования.
Респондент должен оценить и аргументировать предложенные суждения по критериям. После собранных предварительных результатов всех экспертов, анализируются данные, выявляются разнородные области в экспертных оценках, формулируются аргументации данных позиций. Также стоит отметить, что шкала оценивания и суждение может в процессе исследования изменяться на более понятную, если были затруднения при оценке. В результате, проанализированная информация и новые опросники, предлагаются участникам экспертизы для повторной оценки с учетом результатов предыдущего раунда и аргументацией на отличающиеся позиции с точкой зрения эксперта.
Стоит отметить, что количество раундов не ограничивается двумя или тремя. Например, Sniezek J.A. говорит о том, что должно проводится не более 6 раундов; Dalkey N.C., Brown B., Cochran S.W. предлагают проводить 5 раундов; Spinelli T. утверждает, что достаточное количество ограничивается 4 турами Дельфи; Boje D.M., Murnighan J.K. формулирует в научной работе 3 достаточных тура для экспертного исследования; Fischer G.W. придерживается мнения, что должно проходить 2 тура в Дельфи анализе. [16, 17; 18; 19; 20] Также выделим несколько подходов к проведению метода Дельфи. Одни авторы говорят о том, что переход к следующему раунду осуществляется в зависимости от уровня достигнутого консенсуса. Если количество экспертных мнений с групповым мнением достигает 55% [21] или 70% [22], то точка консенсуса в исследовании достигнута. Если значение ниже указанного уровня, то проводят повторный опрос, корректируют результаты и суждения, и переходят на новый уровень исследования. Такой цикл про-
должатся до тех пор, пока данный уровень согласия не будет достигнут. Сидельников Ю.В. определяет соответствие медианы для дальнейшего перехода на новый тур исследования. [11] Вторая группа ученых предлагает проводить столько раундов, сколько позволяет бюджет исследования, временные рамки, количество специалистов организаторов и т.п. [23] Ученые Rowe G. и Wright G. определили оптимальное количество раундов проведения Дельфи, соответствующее 2—3 турам, аргументируя данное число высокой степенью давления на экспертное мнение и уменьшение дисперсии в ходе последующих раундов исследования. [24]
В условиях ограниченности ресурсов и опытного исследования со стороны ученых чаще всего проводят 2—3 раунда, следовательно, метод достижения консенсуса достигается путем применения статистических показателей, рассчитывается мода [25], медиана [24, 11] или среднее арифметическое. Данные показатели рассчитываются в том случае, когда получены все оценки экспертов.
Также стоит отметить, что третья группа авторов предлагает внедрить авторские коэффициенты для выработки консенсуса внутри группы экспертов. Сидельников Ю.В., Rowe G., Wright G. добавляет оценку интервала между крайними квартилями, называя данную характеристику, как область доверительности. [11, 24]
К достоинствам метода Дельфи стоит отнести попытку сформировать базу знаний с учетом мнений экспертов из разных сфер деятельности, ученых и практиков. Комплексный подход позволяет не зауживаться на определённых критериях оценки и субъективности, а нацелен на достижение единой позиции, приближенной к единому пути развития конкретного направления. [7]
Суть метода Дельфи заключается в том, чтобы дать количественные оценки, выраженные в качественных характеристиках. [11] Главным преимуществом данного метода, по мнению Ferri и других соавторов, является анонимность исследования, в большинстве применяемом в первом раунде Дельфи. Такой подход позволяет выражать мнение без давления со стороны группы экспертов.
Также стоит отметить обратную связь экспертов, которая определяется после окончания каждого тура и дает общую оценку мнений респондентов. [11] Если эксперты находятся в разных территориальных объектах, и проведение очного тура для достижения консенсуса становится проблематичным для встречи, то используются современные методы коммуникаций в виде интернет-конференций.
К недостаткам метода Дель-фи стоит отнести эффект шума, который может проявиться после проведения заочного тура в очной коммуникации между экспертами исследования. С одной стороны, это позволяет достигнуть консенсуса между экспертами в конкретной области, с другой стороны, существует вероятность того, что авторитетные респонденты сформируют ошибочное мнение у других экспертов из группы.
Также выделим такой показатель, как достоверность прогнозов. Под данным термином понимается степень отношения указанных экспертных оценок с фактическими данными, которые по истечению срока осуществились в реальности. Данный показатель является ключевым для оценки
объективности исследования методом Дельфи.
Индекс достоверности экспертных прогнозов предлагается рассчитать поэтапно следующим образом:
1. Сформировать базу документов (форсайтов), которые были реализованы на основе метода Дельфи в предметной области;
2. Определить показатели количественной экспертной оценки, представленной в данных документах, которые определены, как [у1*, У2*, Уз*, ..., уЛ где уп — количественная оценка экспертов по критерию п;
3. Найти в авторитетных базах данных фактические количественные значения по выявленным критериям экспертной оценки, которые определены, как [У1, У2, Уз, ..., Уп], где Уп — фактическое количественная значение по критерию п;
4. Рассчитать разницу значений по критериям экспертной оценки с фактическими данными в процентном соотношении, которые определены, как к^, где
*
= 7'
п
5. Вычислить индекс достоверности экспертной оценки по формуле:
1д = Пк1 х к2... х ки, где значение 0 < 1д < 1.
Для форсайт-исследования определим шкалу показателей индекса достоверности: 0 -неточная экспертная оценка; 0-0,25 — низкая экспертная оценка; 0,25—0,5 — средняя экспертная оценка; 0,5—0,75 высокая экспертная оценка; 1 — точная экспертная оценка.
Результирующий показатель в виде индекса достоверности способствует определению объективности проведения форсайт-исследований.
Заключение
В итоге, методика подбора экспертов позволяет комплексно подойти к проблеме в области формирования качественных экспертных групп для проведения форсайт-исследований. Метод «снежный ком», который направлен на максимально быстрый поиск экспертов, нацелен максимально снизить временные затраты.
В области достижения консенсуса в экспертных группах выявлен большой интерес к методу Дельфи. Методика проведения форсайт-исследований на основе Дельфи не имеет унифицированной процедуры организации. Следует отметить, что наиболее часто встречающийся процесс проведения опросов строится в два раунда. В условиях широкого распространения информационно-коммуникационных технологий стоит внедрять цифровые механизмы: он-лайн опросы, которые позволят расширить состав экспертных групп, таким образом, увеличить конверсию (процент ответивших экспертов); внедрение автоматических программ (коэффициентов анализа данных), которые в режиме реального времени будут выстраивать модели эффективности проведения опросов (например, коэффициент адекватности и непротиворечивости). В результате, данные нововведения позволят увеличить количество раундов, анализ которых повысит уровень достижения консенсуса; сократить период проведения экспертного опроса; повысить качество результатов исследования.
Литература
1. Collopy F., Adya M., Armstrong J. S. Expert Systems for Forecasting // Principles of Forecasting. 2001. P. 285-300.
2. Shanteau J. How much information does an expert use? Is it relevant? // Acta Psychologica. 1992. P. 75-86.
3. Robert W. Blanning, Management Applications of Expert Systems // Elsevier Science Publishers B.V. (North-Holland). 1984. P. 311-316.
4. J. Scott Armstrong, J. Thomas Yokum Potential diffusion of expert systems in forecasting // Technological Forecasting and Social Change. 2001. P. 93-103.
5. Чернышева Т.Ю. Иерархическая модель оценки и отбора экспертов // Управление, вычислительная техника и информатика // Доклады ТУСУРа. 2009. № 1 (19). Часть 1. С. 168-173.
6. Масленников Е.В. Возможности использования экспертного знания в качестве источника концепций развития организаций // Вестник Московского университета. 18. Социология и политология. 2017. № 2. С. 229-250.
7. Горшков М.К., Шереги Ф.Э. Прикладная социология: методология и методы: учебное пособие. Изд. 2. М.: ФГАНУ «Центр социологических исследований», Институт социологии РАН, 2012. 403 с.
8. Лясковский В.Л., Смирнов С.С., Пронин А.Ю. Выбор экспертов для оценки проектов программных документов // Компетентность. 2017. № 4. С. 4-15.
9. Ларичев О. И., Моргоев В. К. Проблемы, методы и системы извлечения экспертных знаний // Автоматика и телемеханика. 1991. Выпуск 6. C. 3-27.
10. Кукушкина С.Н., Метод дельфи в форсайт-проектах // Форсайт. 2007. № 1 (1). С. 68-72.
11. Сидельников Ю.В. Системный анализ экспертного прогнозирования. М.: Московский авиационный институт, 2007. 453 c.
12. Гуцыкова С.В. Метод экспертных оценок. Теория и практика. М.: Институт психологии Российской академии наук, 2011. 144 c.
13. Карасев О.И., Китаев А.Е., Миронова И.И., Шинкаренко Т.В. Экспертные процедуры в Форсайте: особенности взаимодействия с экспертами в проектах по долгосрочному прогнозированию // Вестник СпбГу. Социология. 2017. Т.10. Вып. 2. С. 170-185.
14. Муринович А.А., Логинов М.П. Форсайт-проект как база стратегического межрегионального планирования // Известия УрГУ. 2017. №1 (69). С. 101-116.
15. Сидоров А.А. Исследование социально-экономических и политических процессов. Учебное пособие. Томск: ТУСУР, 2005. С. 266.
16. Dalkey N., Helmer O. An experimental application of the Delphi method to the use of experts // Management Science. 1963. Vol. 9. № 3. P. 458-467.
17. Sniezek J. A. A comparison of techniques for judgmental forecasting by groups with common information // Group and Organization Studies. 1990. №15 (1). C. 5-19.
18. Spinelli T. The Delphi decision-making process // Journal of Psychology. 1983. №1 (13) C. 73-80.
19. Boje D.M., Murnighan J.K. Group confidence pressures in iterative decisions // Management Science. 1982. № 28. P. 1187-1196.
20. Fischer G.W. When oracles fail, a comparison of four procedures for aggregating subjective probability forecasts // Organizational Behavior and Human Performance. 1981. № 28. C. 96-110.
21. Powell C. The Delphi technique: myths and realities // Methodological issue in nursing research. Blackwell Publishing Ltd. 2003. P. 376-382.
22. Okoli C., Pawlowski S.D. The Delphi method as a research tool: an example, design considerations and applications// Information & Management. 2004. 42. P. 15-29.
23. Орлов А.И. Организационно-экономическое моделирование, учебник : в 3 ч. М.: Издательство МГТУ им. Н.Э. Баумана, 2009. 486 с.
24. Rowe G., Wright G. The Delphi technique as a forecasting tool: issues and analysis // International Journal of Forecasting. 1999. № 15. P. 353-375.
25. Hsu C., Brian A. The Delphi Technique: Making Sense Of Consensus // Practical assessment, research and evaluation. 2007. Vol. 12. P. 1-8.
References
1. Collopy F., Adya M., Armstrong J. S. Expert Systems for Forecasting. Principles of Forecasting. 2001; 285-300.
2. Shanteau J. How much information does an expert use? Is it relevant?. Acta Psychologica. 1992; 75-86.
3. Robert W. Blanning, Management Applications of Expert Systems. Elsevier Science Publishers B.V. (North-Holland). 1984; 311-316.
4. J. Scott Armstrong, J. Thomas Yokum Potential diffusion of expert systems in forecasting. Technological Forecasting and Social Change. 2001; 93-103.
5. Chernysheva T.YU. Hierarchical model of assessment and selection of experts // Management, computer engineering and informatics. Doklady TUSURa = Reports of TUSUR. 2009; 1 (19): 168— 173. (In Russ.)
6. Maslennikov Ye.V. Possibilities of using expert knowledge as a source of organization development concepts .Vestnik Moskovskogo universiteta. 18. Sotsiologiya i politologiya = Bulletin of Moscow University. 18. Sociology and political science. 2017; 2: 229-250. (In Russ.)
7. Gorshkov M.K., Sheregi F.E. Prikladnaya sotsiologiya: metodologiya i metody: uchebnoye
posobiye = Applied Sociology: Methodology and Methods: a training manual. 2nd ed. Moscow: "Center for Sociological Research", Institute of Sociology RAS; 2012. 403 p. (In Russ.)
8. Lyaskovskiy V.L., Smirnov S.S., Pronin A.YU. Selection of experts for evaluating draft program documents. Kompetentnost' = Competency. 2017; 4: 4-15. (In Russ.)
9. Larichev O. I., Morgoyev V. K. Problems, methods and systems for extracting expert knowledge. Avtomatika i telemekhanika = Automation and Telemechanics. 1991; 6: 3-27. (In Russ.)
10. Kukushkina S.N. The method of delphi in foresight projects. Forsayt = Foresight. 2007; 1(1): 68-72. (In Russ.)
11. Sidel'nikov YU.V. Sistemnyy analiz ekspertnogo prognozirovaniya = System analysis of expert forecasting. Moscow: Moscow Aviation Institute; 2007. 453 p. (In Russ.)
12. Gutsykova S.V. Metod ekspertnykh otsenok. Teoriya i praktika. = Method of expert assessments. Theory and practice. Moscow: Institute of Psychology of the Russian Academy of Sciences; 2011. 144 p. (In Russ.)
13. Karasev O.I., Kitayev A.Ye., Mironova I.I., Shinkarenko T.V. Foresight expert procedures: features of interaction with experts in long-term forecasting projects. Vestnik SpbGu = Bulletin of St. Petersburg State University. Sociology 2017; 10: 170-185. (In Russ.)
14. Murinovich A.A., Loginov M.P Foresight project as a basis for strategic interregional planning. Izvestiya UrGU = News of Ural State University. 2017; 1 (69): 101-116. (In Russ.)
15. Sidorov A.A. Issledovaniye sotsial'no-ekonomicheskikh i politicheskikh protsessov = The
Сведения об авторах
Олег Игоревич Карасев
к.э.н, доцент, директор центра научно-технологического прогнозирования кафедры статистики, экономический факультет
Московский государственный университет имени М.В. Ломоносова, Москва, Россия Эл. почта: [email protected]
Екатерина Игоревна Муканина
аспирант, экономический факультет Московский государственный университет имени М.В. Ломоносова, Москва, Россия Эл. почта: [email protected]
study of socio-economic and political processes. Tomsk: TUSUR; 2005. 266 p. (In Russ.)
16. Dalkey N., Helmer O. An experimental application of the Delphi method to the use of experts. Management Science. 1963; 9; 3: 458—467.
17. Sniezek J. A. A comparison of techniques for judgmental forecasting by groups with common information. Group and Organization Studies. 1990; 15(1): 5-19.
18. Spinelli T. The Delphi decision-making process. Journal of Psychology. 1983; 1(13): 73-80.
19. Boje D. M., Murnighan J. K. Group confidence pressures in iterative decisions. Management Science. 1982; 28: 1187-1196.
20. Fischer G. W. When oracles fail, a comparison of four procedures for aggregating subjective probability forecasts. Organizational Behavior and Human Performance. 1981; 28: 96-110.
21. Powell C. The Delphi technique: myths and realities. Methodological issue in nursing research. Blackwell Publishing Ltd. 2003: 376-382.
22. Okoli C., Pawlowski S.D. The Delphi method as a research tool: an example, design considerations and applications. Information & Management. 2004; 42: 15-29.
23. Orlov A.I. Organizatsionno-ekonomicheskoye modelirovaniye, uchebnik : v 3 ch. = Organizational and economic modeling, textbook: at 3 o'clock. Moscow: Publishing house of MGTU im. N.E. Bauman, 2009. 486 p. (In Russ.)
24. Rowe G., Wright G. The Delphi technique as a forecasting tool: issues and analysis. International Journal of Forecasting. 1999; 15: 353-375.
25. Hsu C., Brian A. The Delphi Technique: Making Sense Of Consensus. Practical assessment, research and evaluation. 2007; 12: 1-8.
Information about the authors
Oleg I. Karasev
Cand. Sci. (Economics), Associate Professor, Director of the Center of Scientific and Technological Forecasting, Department of Statistics, Faculty of Economics Lomonosov Moscow State University, Moscow, Russia E-mail: [email protected]
Ekaterina I. Mukanina
Postgraduate, Faculty of Economics Lomonosov Moscow State University, Moscow, Russia
E-mail: [email protected]
