УДК 65.012.1 JEL M19 DOI 10.26425/1816-4277-2022-10-57-65
Обзор подходов и методов идентификации экспертов в организационных исследованиях
Широнина Елена Михайловна
Канд. экон. наук, доц. каф. экономики и управления промышленным производством ORCID: 0000-0002-5625-956X, e-mail: ElenaShironina@yandex.ru
Пермский национальный исследовательский политехнический университет, г. Пермь, Россия
Аннотация
В научной литературе выделяются три подхода идентификации экспертов в организационных исследованиях: социологический, поведенческий, когнитивный. В социологическом подходе акцент делается на социально-политическом статусе лица. Поведенческий подход фокусируется на том, как делается выбор в ситуациях неопределенности. В когнитивном подходе рассматривается непосредственно субъект мыслительного процесса. В статье показаны ограничения каждого из подходов. Приведены методы идентификации экспертов в организационных исследованиях в российской и зарубежной научной литературе. Рассмотрены методы социального одобрения, политического влияния, проблемной ситуации, личной вовлеченности, внешних сигналов, самооценки, прошлых результатов, тестирования знаний, определения ментальных черт. Показаны преимущества и недостатки каждого метода. Для исследователей организации и организационного поведения в зависимости от задач методы идентификации экспертов предоставляют следующие возможности: экспертного суждения или экспертного знания; процедуры экспертной оценки или продукта профессиональной деятельности; знания темы, проблемы, узкоспециализированных рынков или представления интересов конкретных действующих субъектов, группы, идеи, концепции. В работе применены общелогические методы исследования: индукция, дедукция, анализ, синтез, научная абстракция, сравнение и сопоставление.
Ключевые слова
Эксперт, экспертная оценка, эксперт-ность, экспертное суждение, экспертное мнение, подход, метод
Для цитирования: Широнина Е.М. Обзор подходов и методов идентификации экспертов в организационных исследованиях// Вестник университета. 2022. № 10. С. 57—65.
© Широнина Е.М., 2022.
Статья доступна по лицензии Creative Commons «Attribution» («Атрибуция») 4.0. всемирная (http://creativecommons.org/licenses/by/4.0/).
Вестник университета JJ 10, 2022
Review of approaches and methods for identifying experts in organizational research
Elena M. Shironina
Cand. Sci. (Econ.), Assoc. Prof. at the Economics and Industrial Management Department ORCID: 0000-0002-5625-956X, e-mail: ElenaShironina@yandex.ru
Perm National Research Polytechnic University, Perm, Russia
Keywords
Expert, expert assessment, expertise, expert judgment, expert opinion, approach, method
Abstract
In scientific studies, three approaches are used to identify experts in organizational research: sociological, behavioral, and cognitive. In the sociological approach, the emphasis is on the socio-political status of a person. The behavioral approach focuses on how choices are made in situations of uncertainty. In the cognitive approach, the subject of the thought process is considered directly. The article shows the limitations of each of the approaches. Methods for identification of experts in organizational research in domestic and foreign scientific studies are given. Methods are considered: social acclamation, political influence, problem situation, personal involvement, external cues, self-ratings, past performance, knowledge tests, psychological traits. The advantages and disadvantages of each method are shown. Expert identification methods provide a set of opportunities for researchers of organization and organizational behavior, depending on the need for: expert judgment or expert knowledge; expert evaluation procedures or the product of professional activity; knowledge of a topic, a problem, highly specialized markets or representation of the interests of specific actors, groups, ideas, concepts. The author uses general logical research methods: induction, deduction, analysis, synthesis, scientific abstraction, comparison and contrasting.
For citation: Shironina E.M. (2022) Review of approaches and methods for identifying experts in organizational research.
Vestnik universiteta, no. 10, pp. 57—65.
ВВЕДЕНИЕ
В настоящее время метод экспертной оценки широко применяется в различных областях для анализа слабоформализуемых объектов или процессов в следующих случаях:
- когда отсутствуют точные и достаточные статистические данные;
- когда стандартные методы решения неприменимы или не могут дать удовлетворительный результат;
- когда требуется выбор наиболее эффективного решения из нескольких вариантов, и при этом отсутствует прецедент.
Также метод экспертной оценки применяется при исследовании будущего, которое не является чем-то абсолютно независимым от организационных действий. Вместе с тем расширяется спектр и развиваются управленческие инструменты по принятию эффективных решений в условиях возрастающей сложности и неопределенности [1].
© Shironina E.M., 2022.
This is an open access article under the CC BY 4.0 license (http://creativecommons.Org/licenses/by/4.0/).
Б. Симс, Э. Видли, Г. Уилсон разделяют экспертную оценку на: а) экспертное суждение о значении конкретной величины или интересующей вероятности; и б) экспертное знание о структуре зависимостей системы [2]. В зарубежной научной литературе приводятся доказательства существенной значимости экспертных суждений для принятия решений для корпоративной среды в организации в форме корректировки статистических прогнозов [3; 4] или в виде чистых прогнозов [5]. Критерием рассмотрения экспертной оценки как процедуры или продукта является сам эксперт, его субъективное мнение, основанное на знаниях, умениях, опыте, квалификации. Так, П.Б. Мельник подчеркнул, что «эксперт является ключевым субъектом экспертно-аналитической деятельности» [6, с. 40]. Потому чрезвычайно значимым представляется выбор экспертов и то, каким образом обеспечивается экспертный статус лица.
ПОДХОДЫ К ИДЕНТИФИКАЦИИ ЭКСПЕРТОВ В ОРГАНИЗАЦИОННЫХ ИССЛЕДОВАНИЯХ
С. Маукш, Х. фон дер Грахт и Т. Гордон выделили три подхода к идентификации экспертов: социологический, поведенческий и когнитивный [7].
В социологическом подходе акцент делается на том, кому позволяется выполнять роль эксперта. По мнению Н. Агнью, К. Форда и П. Хейса, мы должны «... думать об экспертах не столько с той точки зрения, что они обладают какой-то конкретной редкой когнитивной компетенцией или большим количеством «истинных» знаний, чем их коллеги, а с той, что они были выбраны группой, готовой приписать им экспертность» [8, с. 2]. Социологический подход определяет экспертность как реляционную конструкцию, возникающую из межличностного взаимодействия в сети и объединяющую агентов, концепции, а также институциональные и пространственные механизмы [9]. С. Маукш, Х. фон дер Грахт и Т. Гордон указали, что отбор экспертов здесь основывается на социально-политическом статусе человека [7]. Согласно позиции Дж. Бейкера, К. Ловелл и Н. Харриса, важным критерием для определения эксперта является его способность влиять на курс, будущую стратегию [10]. Л. Девани и М. Хенчион показали, что исследователи могут выбирать представителей определенных подгрупп, чтобы обеспечить взаимное социальное обучение, позволяющее интегрировать различные социальные, научные, культурные, политические, экономические, технологические точки зрения [11]. С. Маукш, Х. фон дер Грахт и Т. Гордон отметили, что выбор лиц с определенным социальным статусом, репутацией, представительской ролью в качестве экспертов сопряжен с риском выбора людей, которые не являются экспертами, но убедительно демонстрируют внешние признаки уверенности [7].
Поведенческий подход основывается на том, как делается выбор в ситуациях неопределенности. Для данного подхода типичен сравнительный анализ, например, в какой степени прошлые результаты работы экспертов служат ориентиром для прогнозирования точности будущих оценок, или как прошлые оценки экспертов связаны с фактическим воплощением в жизнь [7]. Однако учеными признается предвзятость в экспертном суждении. П. Экен, Т. Гнаци, Х. фон дер Грахт показали, что эксперты систематически оценивают вероятность появления желательных прогнозов на будущее выше, а нежелательных — ниже, чем вероятность прогнозов с нейтральной желательностью [12]. Ряд исследователей указали на чрезмерную уверенность экспертов, которая может приводить к тому, что они будут игнорировать информацию, которая не соответствует их собственному изначальному мнению, или уделять ей недостаточное внимание [13; 14].
Для улучшения качества исследований ряд авторов предлагает стандартизированные процедуры. Так, А. Бонаккорси, Р. Апреда, Г. Фантони для преодоления эффекта фрейминга, якорения, влияния желательности, самоуверенности, ошибки планирования, предвзятости ретроспективного взгляда, ложного консенсуса предложили увеличивать разнообразие участников, даже путем включения неэкспертов, использовать отрицание, путем систематического учета противоположных взглядов, и абстракцию, путем рассуждений в рамках фреймворков и графических функций [15]. Я. Белтон, Э. Макдональд, Дж. Райт, И. Хэмлин предложили последовательность шагов для уравновешивания предвзятости группы, исследователей и мнений [16].
Когнитивный подход сосредоточен непосредственно на субъекте мыслительного процесса. И здесь рассматривается два подхода к компетентности эксперта: абсолютный и относительный [17; 7]. Предположение, что эксперты представляют собой исключительных людей, лежит в основе абсолютного подхода к компетентности [17]. Это предположение о генетически детерминированном превосходстве
Вестник университета № 10, 2022
определенных людей порой руководит нашим обыденным восприятием экспертов. Однако чаще используется относительный, или сравнительный, подход, который рассматривает компетентность эксперта как уровень мастерства, которого можно достичь [7]. Как отметили К. Эрикссон, М. Притула, Э. Кокли, экспертами становятся, а не рождаются. Эти авторы говорят о десятилетней целенаправленной практике для развития экспертных знаний [18]. Эксперты выносят суждения, полагаясь на более глубокие познания, организуя их по типам и имея более сложный категориальный аппарат [19]. Знания экспертов структурированы таким образом, чтобы сделать их более доступными, функциональными и эффективными [7]. Эксперты опираются на обширную сеть связей между концепциями, в то время как дилетанты склонны опираться на поверхностные особенности представленной информации [19]. Эксперты также обладают лучшими навыками идентификации проблем, трансформируя, например, плохо структурированную проблему в четко определенную, дилетанты же, напротив, сразу начинают решать проблему [7].
Ряд исследователей обратили внимание на то, что отдельные личности могут последовательно в течение длительного периода времени превосходить других в прогнозировании очень сложных задач [20; 21]. Подобную успешность Ф. Тетлок и Дж. Гарднер приписывают: а) философскому мировоззрению, б) способностям и стилю мышления, в) методу прогнозирования и г) рабочей этике [20]. Б. Меллерс с соавторами индивидуальные результаты связали с: а) когнитивными способностями и стилем, б) навыками, специфичными для конкретной задачи, в) мотивацией и приверженностью и г) обогащенной средой [21].
МЕТОДЫ ИДЕНТИФИКАЦИИ ЭКСПЕРТОВ В ОРГАНИЗАЦИОННЫХ ИССЛЕДОВАНИЯХ
В российской научной литературе выделяются две группы методов: объективные и субъективные. К объективным методам, основанным на документальной информации и сведениях о результатах практической деятельности экспертов, относят документальный и экспериментальный. К субъективным методам, основанным на собственном мнении экспертов о себе и/или мнениях коллег, относят методы самооценки и коллективной оценки, последняя, в свою очередь, реализуется методами тайной или открытой аттестации и взаимной оценки [6].
В зарубежной научной литературе, где авторы основываются на введении в социологический, поведенческий и когнитивный подходы идентификации экспертов, прослеживается более широкий репертуар методов отбора экспертов в организационных исследованиях (табл. 1).
У каждого из рассмотренных методов есть преимущества и недостатки, ни один из методов не является универсальным. Представленную таблицу можно рассматривать как навигатор по методам отбора экспертов в организационных исследованиях. Непосредственно выбор метода или методов определяется ожиданиями от экспертов, такими как: глубокое знание темы; высокая креативность или способность нестандартно мыслить; представительство интересов определенных действующих субъектов, группы или идеи, концепции. В первом случае отбор экспертов может основываться на предполагаемых уровнях знаний и релевантным будет использование таких методов, как метод внешних сигналов, самооценка или тестирование. Креативность или способность мыслить нестандартно важны для решения «злых» (по Х. Риттелю и М. Уэбберу), «жестких» (по П. Чекланду) проблем в жизнедеятельности организации. В этом контексте значимым является то, как результаты работы экспертов в прошлом способствовали решению проблем, не имеющих однозначного, понятного или верного решения, и релевантным будет использование метода прошлых результатов. Если организационное исследование нацелено на создание структурированного диалога, выработку видения и стратегии действий, на построение желаемого будущего, и, соответственно, значимым будет расширение горизонта мыслимого, появление альтернативных вариантов и вызов общепринятой точке зрения, то в этом случае стоит обратиться к методам социального одобрения, политического влияния и личной вовлеченности. Если организационное исследование нацелено на социальные изменения, следует использовать методы социального одобрения, политического влияния, проблемной ситуации, личной вовлеченности, которые будут способствовать взаимному обучению, формированию консенсуса или разделяемого контекста.
Таблица 1
Обзор методов идентификации экспертов
Метод Содержание Подход Преимущества Недостатки
Метод социального одобрения Выдвижение коллег Социологический — эксперты являются хорошими оценщпкамп других экспертов в конкретной предметной области; — демократический п целостный метод; — отобранные эксперты превосходят непрофессионалов; — коллегиальные оценки коррелируют с внешними сигналами; — включение неизвестных экспертов; — менее вероятный пропуск экспертов в процедуре выдвижения кянлттлятов — предвзятость социальной желательности плп эффект популярности, то есть требуемая экспертность связывается с популярностью кандидата
Метод политического влияния Отбор экспертов с потенциальным политическим влиянием Социологический — легкодоступность информации; — участие влиятельных экспертов положительно влияет на успешность изменений — политически влиятельные кандидаты не всегда являются экспертами
Метод проблемной ситуации Вариабельность экспертов, представляющих ключевые действующие субъекты Социологический — представление точки зрения важных участников в проблемных ситуациях; — участие влиятельных экспертов положительно влияет на решение проблемной ситуации — предвзятость социальной желательности плп эффект популярности
Метод личной вовлеченности Выбор на основе личной заинтересованности в предмете исследования Социологический / когнитивный — целенаправленнып опыт как важнып элемент экспертностп; — более высокая скорость отклика; — более широкий выбор экспертов — необходимость операцпоналпзацпп/пзмеренпя; — предвзятость самоотбора; — влияние личных корыстных интересов
Метод внешних сигналов Оценка на основе внешних критериев: стажа, должности, дипломов, удостоверений, публикаций II т.д. Социологический / когнитивный — доступность информации; — внешнее отображение навыков, умений; — опыт часто коррелирует с более развитыми когнитивными навыками п умениями п более глубокими знаниями — риск предвзятости в решениях исследовательской группы, кого считать экспертом; — больший опыт не всегда означает большую экспертность; — некоторые профессионалы никогда не становятся экспертами; — неприменимость к областям, в которых отсутствуют институционализированные критерии экспертностп; — хорошие теоретики не обязательно являются хорошими практиками; — пренебрежение креативностью п воображением
Окончание табл. 1
Метод Содержание Подход Преимущества Недостатки
Метод самооценки Самооценка экс-пертности Поведенческий / когнитивный — нпзкобарьерный метод для областей, в которых отсутствуют объективные критерии экспертностп; — эксперты теоретически являются лучшими судьями своей деятельности; — эксперты выделяются сильными навыками самоконтроля; — самооценпванпе экспертов превосходит самооценпванпе неспециалистов — неоднозначность результатов исследования принятия решений; — предубеждения: чрезмерный оптимизм, самоуверенность
Метод прошлых результатов Выбор на основе прошлых результатов Поведенческий — нпзкобарьерный, недорогой метод при наличии данных о прошлых результатах; — существование в некоторых областях устоявшихся «золотых стандартов» п рейтинговых систем; — применим к повторяющимся задачам с поддающимися оценке результатами — зависимость от измеримых результатов; — неприменимость для прогнозирования экстремальных плп редких событий; — предубеждения: чрезмерная самоуверенность после успеха; — неприменимость для не поддающихся количественной оценке ненаблюдаемых аспектов (например, неявных знаний)
Тестирование знаний Отбор на основе поддающихся проверке знаний Когнитивный — возможность отбора внутри группы; — возможность проверки ответов — недостаточность, в силу большей важности умения, применять знания, чем пх наличие; — пренебрежение связанной с опытом эвристикой; — этичность п затраты ресурсов: кандидаты проверяются, а затем исключаются; — пренебрежение креативностью п воображением
Метод определенна ментальных черт Когнитивные тесты, оценивающие эксперт-ность Когнитивный / социологический — выявление «истинных» экспертов в предметной области, отвечающих важным когнитивным критериям (внутренняя согласованность, проницательность, проведение аналогий п т.д.) — высокие требования к подготовке; — отсутствие знаний о когнитивных процессах в некоторых областях; — неприменимость в том случае, когда эксперты сталкиваются с новыми задачами; — сложные п трудоемкие процедуры; — пренебрежение креативностью п воображением
Составлено автором по материалам источников [7; 22]
ЗАКЛЮЧЕНИЕ
Статус эксперта не является самоочевидным. Отбор экспертов может обусловливаться континуумом предпосылок:
— необходимостью экспертного суждения или экспертного знания;
— необходимостью процедуры экспертной оценки или продукта профессиональной деятельности;
— знанием темы, проблемы, узкоспециализированных рынков или представлением интересов конкретных действующих субъектов, группы, идеи, концепции.
Выбор экспертов может основываться на предполагаемых знаниях, умениях, опыте, и тогда чем больше экспертов, тем лучше. В другом случае отсутствие зашоренности, наличие нестандартного видения темы, проблемы является важным параметром. Выбор экспертов может быть сопряжен с поиском кандидатов, представляющих интересы конкретных действующих субъектов, группы или приверженных какой-то идее, концепции. Необходимость осуществления социальных изменений будет требовать использования методов, относимых к социологическому подходу: методов социального одобрения, политического влияния, личной вовлеченности, проблемной ситуации. Необходимость технологической экспертизы, касающейся разработок на узкоспециализированных рынках, будет требовать экспертных знаний и опыта в соответствующей области, и тогда релевантным будет использование различных показателей, основанных на внешних сигналах, самооценке или тестировании.
Социологический, поведенческий и когнитивный подходы к идентификации экспертов направляют различные методы отбора. Рассмотренные нами методы идентификации экспертов в организационных исследованиях имеют свои достоинства и недостатки, некоторые методы требуют трудоемкой подготовительной работы, другие зависимы от когнитивных искажений и предвзятости группы, исследователей и мнений. Предлагаемый нами обзор методов предоставляет набор возможностей исследователям организации и организационного поведения.
Библиографический список
1. Оленев В.М., Широнина Е.М. Технологии исследования будущего в стратегическом менеджменте. Экономика и предпринимательство. 2021;12(137):831—834. https://doi.org/10.34925/EIP.2021.137.12.164
2. Sims B.H., Wiedlea A.K., Wilson G.D. Expert Opinion in Reliability. In: F. Ruggeri, R.S. Kenett, F.W Faltin (eds.) Encyclopedia of Statistics in Quality and Reliability. New Jersey: Wiley; 2008. https://doi.org/10.1002/9780470061572.eqr110
3. Fildes R., Goodwin P., Lawrence M., Nikolopoulos K. Effective forecasting and judgmental adjustments: An empirical evaluation and strategies for improvement in supply-chain planning. International Journal of Forecasting. 2009;25(1):3—23. http://dx.doi.org/10.1016/j.ijforecast.2008.11.010
4. Nikolopoulos K., Lawrence M., Goodwin P., Fildes R. On the accuracy of judgmental interventions on forecasting support systems. Working Paper. Lancaster: The Department of Management Science, Lancaster University; 2005.
5. Franses P.H., Legerstee R. Do experts' adjustments on model-based SKU-level forecasts improve forecast quality. Journal of Forecasting. 2010;29(3):331-340. https://doi.org/10.1002/for.1129
6. Мельник П.Б. Математическая модель эксперта. Инноватика и экспертиза: научные труды. 2020;2(30):40—64. https://doi. org/10.35264/1996-2274-2020-2-40-64
7. Mauksch S., von der Gracht H.A., Gordon T.J. Who is an expert for foresight? A review of identification methods. Technological Forecasting &Soial Change. 2020;154:119982. https://doi.org/10.1016/j.techfore.2020.119982
8. Agnew N.M., Ford K.M., Hayes P.J. 10 Expertise In Context: Personally Constructed, Socially Selected and Reality-Relevant? International Journal of Expert Systems. 1997;7(1):65—88.
9. Eyal G. For a sociology of expertise: the social origins of the autism epidemic. American Journal of Sociology. 2013;118(4):863— 907. https://doi.org/10.1086/668448
10. Baker J., Lovell K., Harris N. How expert are the experts? An exploration of the concept of 'expert' within Delphi panel techniques. Nurse Researcher. 2006;14(1). https://doi.org/10.7748/nr2006.10.14.1.59.c6010
11. Devaney L., Henchion M. Who is a Delphi 'expert'? Reflections on a bioeconomy expert selection procedure from Ireland. Futures. 2018; 99 (1): 45-55. https://doi.org/10.1016Zj.futures.2018.03.017.
12. Ecken P., Gnatzy T., von der Gracht H.A. Desirability bias in foresight: consequences for decision quality based on Delphi results. Technological Forecasting and Social Change. 2011;78(9):1654-1670. https://doi.org/10.1016/j.techfore.2011.05.006
BecmnuK ynmepcumema № 10, 2022
13. Almandoz J., Tilcsik A. When experts become liabilities: domain experts on boards and organizational failure. Academy of Management Journal. 2016;59(4):1124-1149. https://doi.org/10.5465/amj.2013.1211
14. Finkelstein S. Don't Be Blinded by Your Own Expertise. Harvard Business Review. May-June 2019. https://hbr.org/2019/05/ dont-be-blinded-by-your-own-expertise?ab=at_art_art_1x4_s03 (accessed 17.08.2022).
15. Bonaccorsi A., Apreda R., Fantonia G. Expert biases in technology foresight. Why they are a problem and how to mitigate them. Technological Forecasting and Social Change. 2020;151:119855. https://doi.org/10.1016/j.techfore.2019.119855
16. Belton I., MacDonald A., Wright G., Hamlin I. Improving the practical application of the Delphi method in group-based judgment: a six-step prescription for a well-founded and defensible process. Technological Forecasting and Social Change. 2019;147:72-82. https://doi.org/10.1016Zj.techfore.2019.07.002
17. Chi M. Two Approaches to the Study of Experts' Characteristics. In K. Ericsson, N. Charness, P. Feltovich, & R. Hoffman (eds.) The Cambridge Handbook of Expertise and Expert Performance. Cambridge: Cambridge University Press; 2006. https://doi.org/10.1017/CB09780511816796.002
18. Ericsson K.A., Prietula M.J., Cokely E.T. The making of an expert. Harvard Business Review. July-August 2007. https://hbr. org/2007/07/the-making-of-an-expert (accessed 03.08.2022).
19. Kuchinke K.P. Employee expertises the status of the theory and the literature. Performance Improvement Quarterly. 1997;10(4):72-86. https://doi.org/10.1111/j.1937-8327.1997.tb00068.x
20. Tetlock P.E., Gardner D. Superforecasting: The art and science of prediction. New York: Crown Publishing Group; 2015. 352 p.
21. Mellers B., Stone E., Murray T., Minster A., Rohrbaugh N., Bishop M., Chen E., Baker J., Hou Y, Horowitz M., Ungar L., Tetlock P. Identifying and cultivating superforecasters as a method of improving probabilistic predictions. Perspectives on Psychological Science. 2015;10(3):267-281. https://doi.org/10.1177/1745691615577794
22. Müller M.O., Groesser S.N., Ulli-Beer S. How do we know who to include in collaborative research? Toward a method for the identification of experts. European Journal of Operational Research. 2012;216(2):495-502. https://doi.org/10.10167j.ejor.2011.07.014
References
1. Olenev VM., Shironina E.M. Research techniques of the future in strategic management. Economy andEntrepreneurship. 2021;12(137):831-834. https://doi.org/10.34925/EIP.2021.137.12.164
2. Sims B.H., Wiedlea A.K., Wilson G.D. Expert Opinion in Reliability. In: F. Ruggeri, R.S. Kenett, F.W Faltin (eds.) Encyclopedia of Statistics in Quality and Reliability. New Jersey: Wiley; 2008. https://doi.org/10.1002/9780470061572.eqr110
3. Fildes R., Goodwin P., Lawrence M., Nikolopoulos K. Effective forecasting and judgmental adjustments: An empirical evaluation and strategies for improvement in supply-chain planning. International Journal of Forecasting. 2009;25(1):3-23. http://dx.doi.org/10.1016/j.ijforecast.2008.11.010
4. Nikolopoulos K., Lawrence M., Goodwin P., Fildes R. On the accuracy ofjudgmental interventions on forecasting support systems. Working Paper. Lancaster: The Department of Management Science, Lancaster University; 2005.
5. Franses P.H., Legerstee R. Do experts' adjustments on model-based SKU-level forecasts improve forecast quality. Journal of Forecasting. 2010;29(3):331-340. https://doi.org/10.1002/for.1129
6. Melnik P.B. Mathematical model of the expert. Innovation and expertise: scientific works. 2020;2(30):40-64. https://doi. org/10.35264/1996-2274-2020-2-40-64
7. Mauksch S., von der Gracht H.A., Gordon T.J. Who is an expert for foresight? A review of identification methods. Technological Forecasting & Social Change. 2020;154:119982. https://doi.org/10.1016/j.techfore.2020.119982
8. Agnew N.M., Ford K.M., Hayes P.J. 10 Expertise In Context: Personally Constructed, Socially Selected and Reality-Relevant? International Journal of Expert Systems. 1997;7(1):65-88.
9. Eyal G. For a sociology of expertise: the social origins of the autism epidemic. American Journal of Sociology. 2013;118(4):863-907. https://doi.org/10.1086/668448
10. Baker J., Lovell K., Harris N. How expert are the experts? An exploration of the concept of 'expert' within Delphi panel techniques. Nurse Researcher. 2006;14(1). https://doi.org/10.7748/nr2006.10.14.F59.c6010
11. Devaney L., Henchion M. Who is a Delphi 'expert'? Reflections on a bioeconomy expert selection procedure from Ireland. Futures. 2018; 99 (1): 45-55. https://doi.org/10.1016/j.futures.2018.03.017
12. Ecken P., Gnatzy T., von der Gracht H.A. Desirability bias in foresight: consequences for decision quality based on Delphi results. Technological Forecasting and Social Change. 2011;78(9):1654-1670. https://doi.org/10.1016/j.techfore.2011.05.006
13. Almandoz J., Tilcsik A. When experts become liabilities: domain experts on boards and organizational failure. Academy of Management Journal. 2016;59(4):1124-1149. https://doi.org/10.5465/amj.2013.1211
14. Finkelstein S. Don't Be Blinded by Your Own Expertise. Harvard Business Review. May—June 2019. https://hbr.org/2019/05/ dont-be-blinded-by-your-own-expertise?ab=at_art_art_1x4_s03 (accessed 17.08.2022).
15. Bonaccorsi A., Apreda R., Fantonia G. Expert biases in technology foresight. Why they are a problem and how to mitigate them. Technological Forecasting and Social Change. 2020;151:119855. https://doi.org/10.1016/j.techfore.2019.119855
16. Belton I., MacDonald A., Wright G., Hamlin I. Improving the practical application of the Delphi method in group-based judgment: a six-step prescription for a well-founded and defensible process. Technological Forecasting and Social Change. 2019;147:72-82. https://doi.org/10.1016/j.techfore.2019.07.002
17. Chi M. Two Approaches to the Study of Experts' Characteristics. In K. Ericsson, N. Charness, P. Feltovich, & R. Hoffman (eds.) The Cambridge Handbook of Expertise and Expert Performance. Cambridge: Cambridge University Press; 2006. https://doi.org/10.1017/CB09780511816796.002
18. Ericsson K.A., Prietula M.J., Cokely E.T. The making of an expert. Harvard Business Review. July-August 2007. https://hbr. org/2007/07/the-making-of-an-expert (accessed 03.08.2022).
19. Kuchinke K.P. Employee expertises the status of the theory and the literature. Performance Improvement Quarterly. 1997;10(4):72-86. https://doi.org/10.1111/j.1937-8327.1997.tb00068.x
20. Tetlock P.E., Gardner D. Superforecasting: The art and science of prediction. New York: Crown Publishing Group; 2015. 352 p.
21. Mellers B., Stone E., Murray T., Minster A., Rohrbaugh N., Bishop M., Chen E., Baker J., Hou Y, Horowitz M., Ungar L., Tetlock P. Identifying and cultivating superforecasters as a method of improving probabilistic predictions. Perspectives on Psychological Science. 2015;10(3):267-281. https://doi.org/10.1177/1745691615577794
22. Müller M.O., Groesser S.N., Ulli-Beer S. How do we know who to include in collaborative research? Toward a method for the identification of experts. European Journal of Operational Research. 2012;216(2):495-502. https://doi.org/10.10167j.ejor.2011.07.014