CC BY
77
ВЕСТН. МОСК. УН-ТА. СЕР. 18. СОЦИОЛОГИЯ И ПОЛИТОЛОГИЯ. 2017. № 2
Е.В. Масленников, канд. философ, наук, доц. кафедры методологии социологических исследований социологического факультета МГУ имени М.В. Ломоносова, г. Москва, Россия*
ВОЗМОЖНОСТИ ИСПОЛЬЗОВАНИЯ ЭКСПЕРТНОГО ЗНАНИЯ В КАЧЕСТВЕ ИСТОЧНИКА КОНЦЕПЦИЙ РАЗВИТИЯ ОРГАНИЗАЦИЙ
Maslennikov EugenyVjacheslavovich, the candidate of philosophical sciences, the senior lecturer of faculty of methodology of sociological researches of sociological faculty of the Moscow State University of a name M.V. Lomonosova, Moscow, Russian Federation, e-mail: [email protected]
OPPORTUNITIES OF USE OF EXPERT KNOWLEDGE AS THE SOURCE OF CONCEPTS OF DEVELOPMENT OF THE ORGANIZATIONS
Цель статьи — обосновать подход, расширяющий возможности использования экспертного знания в качестве источника формирования частных концепций развития организаций как социально-экономических объектов. Как известно, сегодня не существует общепринятой общей теории развития. Но есть частные теории или концепции развития, количество которых имеет выраженную тенденцию увеличения как в естественных, так и в гуманитарных областях. В этих частных концепциях развитие понимается по-разному, т.е. их авторы предлагают (или используют) разные формы развития. Развитие как предмет исследования является одной из наиболее сложных и наименее изученных областей как в естественно-научной, так и в гуманитарной сфере. В этой связи нужно констатировать, что несмотря на свою актуальность исследование развития в незначительной степени обеспечивает практику средствами управления развитием. Использование экспертного знания в области управления развитием является одним из возможных подходов к решению данной задачи. Среди экспертов носителями частных концепций развития могут быть как эксперты-практики, так и эксперты-теоретики. Авторские концепции экспертов являются наиболее целостным видом знания, включающим в себя достоинства науки, опыта и практики. Они содержат черты рационального аналитического знания, интуитивно-творческого иррационального его состояния, а также черты эмпирического чувственно воспринимаемого знания — опыта.
Наряду с количественным подходом в идеологии методов экспертной оценки, опирающихся на экспертное знание, имеется и качественный подход. Так, существующая технология интеграции частных концепций
* Масленников Евгений Вячеславович, e-mail: [email protected]
экспертов как представитель качественного подхода разработана для интеграции частных концепций экспертов-практиков в общую комплексную концепцию. На новый уровень социальной и научной значимости может быть поднята технология интеграции частных концепций в целостную общую, если будет создана возможность интеграции частных концепций экспертов-теоретиков. Но в этом случае для интеграции таких частных концепций должен применяться другой способ, другие требования к формированию частных концепций экспертов, их отбору, форме изложения содержания концепций, их формальному синтезу, в результате которого и формируется интегрированная целостная концепция. Решение задачи разработки технологии интеграции частных концепций экспертов-теоретиков в общую теоретическую концепцию становится возможным, если использовать абстрактную теорию развития, построенную на основе соответствующего конструкта. В новом подходе к интеграции частных концепций экспертов-теоретиков предполагается использование методологии концептуального анализа и соответствующего структурного математического аппарата. В качестве существующего теоретического задела в статье предлагается использовать разработки по теории развития как многомерной полиаспектной дизъюнктивной сети с возрастающей сложностью.
Для обоснованного применения концептуальных методов в решении задачи интеграции частных концепций экспертов-теоретиков необходимо учитывать следующие особенности, характеризующие состояние исследуемой предметной области. Во-первых, это сами существующие частные предметные концепции различных авторов, высказывающих свои точки зрения на то, как устроен исследуемый предмет, как он проявляется, каким образом точка зрения автора апробирована практикой. Все концепции должны иметь статус отработанных, оправдавших себя концепций, с помощью которых достигался тот или иной реальный эффект. Как правило, каждая из концепций претендует на всеобщность, на то, что она способна объяснить весь предмет представленной науки (социологии, психологии и т.д.), все ее феномены. Это эффект абсолютизации экспертом своей частной точки зрения. Поскольку среди концепций могут быть такие, которые друг с другом не соотнесены, следствием этого является стремление их авторов принизить другие концепции, объявить их невполне обоснованными.
Во-вторых, это особенность, состоящая в том, что наука (или отдельная предметная область), представленная в частных концепциях, по общим оценкам представителей этой науки и их сообществ, еще не имеет точно определенного ("развитого") предмета, который позволил бы концептуализировать данную область. Последняя представлена мозаикой слабо соотнесенных между собой идей.
В теории и практике использования экспертного знания данная постановка проблемы носит инновационный характер. Проблема не разработана. Но можно предположить, что соединение усилий социологов и специалистов в области инструментальных теоретических исследований — концептуалистов, оснащенных соответствующими методами, — позволит решить столь сложную и актуальную задачу.
Ключевые слова: эксперт, экспертное знание, метод экспертных оценок, интеграция частных концепций экспертов, частная концепция развития социально-экономического объекта.
The purpose of article — to prove the approach expanding opportunities of use of expert knowledge as a source of formation of individual concepts of development of the organizations as social and economic objects. As is known, today there is no standard general theory of development. But there are individual theories or concepts of development which quantity has the expressed tendency of increase as in natural, and humanitarian areas. In these individual concepts development is understood differently, i.e. their authors suggest different forms of development. Development as an object of research is one of the most difficult and least investigated areas as in natural-science, and humanitarian sphere. In this connection it is necessary to ascertain, that, despite of the urgency, research of development in an insignificant degree provides practice by control facilities by development. Among experts there can be carriers of individual concepts of development, both expert-practice, and experts-theorists. Author's concepts of experts are the most complete kind of knowledge containing advantages of a science, experience and practice. They contain features of rational analytical knowledge, intuitive-creative its irrational condition, and also feature of empirical sensually perceived knowledge — experience.
Alongside with the quantitative approach in ideology of methods of the expert estimation basing on expert knowledge, there is also a qualitative approach. Thus, existing technology integration of individual experts concepts, as a representative of a qualitative approach, developed for the integration of individual experts and practitioners in the general concepts integrated concept.
On a new level of the social and scientific importance the technology of integration of individual concepts in the complete general if the opportunity of integration of individual concepts of experts-theorists will be created can be lifted. But in this case other way, other requirements should be applied to integration of such individual concepts to formation of individual concepts of experts, their selection, to the form of a statement of the contents of concepts, their formal synthesis as a result of which the integrated complete concept is formed. Meeting the challenge of developing technology concepts integration of private experts-theorists in general theoretical concept, it is possible if you use an abstract theory of development, built on the basis of the corresponding construct. In a new approach to integrate the concepts of individual experts, theorists assumed the use of the methodology and conceptual analysis of the appropriate structural mathematics. As there is a theoretical groundwork article is proposed to use for the development of the theory of development as a multidimensionalpoliaspektnoy disjunctive network with increasing difficulty.
For reasonable application of conceptual methods in solving the problem of the integration of the concepts of private experts, theorists need to consider the following features characterizing the state of the test domain. Firstly — it ourselves existing subject specific concepts of different authors to express their points of view on what's inside the analyzed object, how it manifests itself, how the point of view of the author tested practice. All concepts should have the status of waste, of proven concepts with which he achieved a real effect. Typically, each
of the concepts claim to universality, that it is able to explain the whole thing presented science (sociology, psychology, etc.), all of its phenomena. This effect is absolute expert of their private point of view. As among concepts can be such which with each other are not correlated, consequence of it is the aspiration of their authors to belittle other concepts, to declare them not to the full proved.
Second — this is a feature that consists in the fact that science (or a separate domain), represented in partial concepts, general estimates of representatives of the science and their communities, just does not yet have a specific ("developed") object, which allowed to conceptualize this area. The latter is represented by a mosaic weakly correlated with each other ideas.
In theory and practice, the use of expert knowledge this statement of the problem is innovative. The problem is not developed. But it can be assumed that the concerted effort of sociologists and experts in the field of theoretical research tool — conceptual equipped with appropriate methods — will help to solve this difficult and urgent task.
Keywords: the expert, expert knowledge, a method of expert estimations, integration of private concepts of experts, the private concept of socio-economic development of the object.
В 2008 г. впервые после 20-летнего перерыва на заключительной сессии Общего собрания РАН рассматривались результаты выполнения задания правительства РФ по разработке экспертных оценок развития страны — "Прогноз—2030". Сессия называлась "Научно-технологический прогноз — важнейший элемент стратегии развития России". Авторы этой разработки уверены, что в России должна быть создана единая система государственного прогнозирования, с помощью которой властные структуры могли бы на научной основе определять приоритеты стратегического развития страны. Это актуально и для других сфер жизни общества, в которых ориентиры их развития могут опираться на экспертное знание. Все это свидетельствует о том, что не теряет своей актуальности метод экспертных оценок как средство получения экспертного прогнозного знания. Развитие методического арсенала получения и обработки экспертного знания связано с расширением класса задач и предметных областей, в которых может применяться данный метод. Использование экспертного знания для современного подхода к разработке стратегических решений — одна из этих задач.
Цель статьи — обосновать подход, расширяющий возможности использования экспертного знания в качестве источника формирования частных концепций развития организаций как социально-экономических объектов.
Как известно, сегодня не существует общепринятой общей теории развития. Но есть частные теории или концепции развития,
количество которых имеет выраженную тенденцию увеличения как в естественных, так и в гуманитарных областях. В этих частных концепциях развитие понимается по-разному, т.е. их авторы предлагают (или используют) разные формы развития. Развитие как предмет исследования является одной из наиболее сложных и наименее изученных областей как в естественно-научной, так и в гуманитарной сфере. В этой связи нужно констатировать, что несмотря на свою актуальность исследование развития в незначительной степени обеспечивает практику средствами управления развитием. Использование экспертного знания в области управления развитием является одним из возможных подходов к решению данной задачи. Среди экспертов носителями частных концепций развития могут быть как эксперты-практики, так и эксперты-теоретики.
Представляется возможным дать следующее определение термину экспертное знание. Под экспертным знанием будем понимать такой вид информации, который получен от экспертов — выделяющихся своим опытом профессионалов любой области человеческой деятельности — на основе организованного достижения их консенсу-ального решения о ценности, правильности, обоснованности, перспективности результатов и направлений деятельности в конкретной области1.
Особенность экспертного знания в том, что оно представляет собой промежуточный, переходный вид знания от неявного знания к научному, частично сочетающий последние в себе. К неявному (tacit knowledge, англ.) знанию относится такое знание, которое получено через личный опыт, полностью или частично не эксплицировано (не формализовано), не может легко передаваться другим. К научному знанию — кодифицированной и идентифицируемой информации — относится, прежде всего, эмпирическое и теоретическое знание2. Эмпирическое знание — знание о взаимосвязях между отдельными событиями и фактами в предметной области, констатирующее качественные и количественные характеристики объектов и явлений. Теоретическое знание — знание, устанавливающее законы ограничений разнообразия, которые дают возможность объяснения и обобщенного описания эмпирических ситуаций на основе применения идеализированных объектов — конструктов и их установленных свойств — в качестве познавательных инструментальных средств.
1 Масленников Е.В. Особенности отбора экспертов // Социология. 2010. № 2. С. 82-93.
2 Лебедев С.А. Знание // Философия науки: краткая энциклопедия (основные направления, концепции, категории). М., 2008. С. 366.
Характер информации, необходимой для принятия решений, связан с возможностью ее измерения. Авторы С.Д. Бешелев и Ф.Г. Гур-вич выделили три условных типа информации, различение которых позволяет давать оценки степени достоверности имеющейся информации3. Во-первых, информация, подтвержденная систематическими экспериментальными или статистическими наблюдениями, измерение которой достаточно надежно с точки зрения "проверяемости ". Такая информация названа знанием. Во-вторых, информация, основанная лишь на знании существующей ситуации в целом, но подкрепленная малым количеством свидетельств либо вообще не подкрепленная ими. Этот тип информации назван предположением. В-третьих, между двумя данными типами информации находится обширная область сведений, для подтверждения которых существует лишь некоторая измеряемая информация. Данный тип информации назван мнением.
Границы, разделяющие три названных типа, расплывчаты. В большинстве решений приходится иметь дело со всеми тремя типами информации. Но такое различение позволяет давать оценки степени достоверности имеющейся информации.
Экспертные оценки чаще всего используются в ситуациях, когда достоверность информации, необходимой для принятия решения, невелика. Они являются вероятностными, основанными на способности эксперта давать полезную информацию в условиях неопределенности. Неизвестная количественная характеристика исследуемого явления рассматривается в таких условиях как случайная величина, отражением закона распределения которой является индивидуальная оценка специалиста-эксперта о достоверности или значимости того или иного события.
Одно из основных положений идеологии метода экспертных оценок заключается в том, что когда оценки получены от группы экспертов, то, во-первых, "истинное" значение исследуемой характеристики находится внутри диапазона оценок и, во-вторых, "обобщенное" коллективное мнение экспертов является более достоверным.
Пути применения экспертных оценок в исследовательской работе отчасти найдены в прогнозировании, в сценарном подходе к выработке решений, когда выбор решения осуществляется с учетом доминирующих сюжетных линий (сценариев) развития проблемной ситуации, определяемых экспертами.
К источникам экспертного знания можно отнести разные типы экспертов: во-первых, экспертов, предоставляющих уникальные данные; во-вторых, экспертов, участвующих в подготовке прини-
3 Бешелев С.Д., Гурвич Ф.Г. Экспертные оценки. М., 1973. С. 66—67.
маемых решений, в зависимости от особенностей которых выделяются разновидности привлекаемых экспертов, связанные с их специализированной ролью в этом процессе; в-третьих, экспертов, участвующих в разработке проектов, в зависимости от особенностей типов которых также могут быть определены разновидности привлекаемых экспертов.
Выделяют несколько подходов к информации, получаемой от группы экспертов. В первом случае эта информация формируется на основе анализа данных о предполагаемых потенциальных возможностях и с учетом воздействия внешних факторов. Такой подход к анализу будущего помогает установить, что можно или нельзя сделать, и носит название исследовательского.
Другой подход — нормативный. В этом случае анализ проводится для установления желательных целей и потребностей, а оценка направлена на то, чтобы установить, какие возможности существуют для достижения поставленных целей на данный момент и какие действия в связи с этим необходимо предпринять.
При исследовании тенденций изменения в перспективе состояния тех или иных объектов проявляется ограниченность возможности получения связанной с этим полной статистической информации. Исследователи вынуждены пользоваться не только этой ограниченной информацией, но и пополнять ее субъективными оценками вероятности или порядка различных величин. Несмотря на эти трудности зачастую решения подготавливают и принимают, не дожидаясь, пока наступит полная ясность, поскольку не исключено, что окончательная ясность может совсем не наступить или наступит слишком поздно.
Поэтому в идеологии метода экспертных оценок задача повышения точности и надежности оценок, необходимых для принятия решений, заключается не в получении каждой из них с помощью аналитических расчетов, а в сокращении числа факторов, не поддающихся измерению (возможности приписать числовую форму объектам и событиям в соответствии с определенными правилами).
Под степенью точности эксперта при вынесении им суждения о значении вероятности для некоторого события понимается степень соответствия его "персональной" оценки корректности того класса гипотез, которым он приписал эту вероятностную оценку. По оценке О. Хелмера4, понятия надежности и точности базируются на предположении, что существует класс задач, для которых эксперт подходит либо не подходит.
4 Хелмер О. Анализ будущего: метод Дельфи // Научно-техническое прогнозирование для промышленности и правительственных учреждений / Под ред. Дж. Брайта. М., 1997.
При группировке оценок, полученных от экспертов, в какой-либо ряд распределения и при использовании в качестве обобщающей характеристики параметров этого распределения создается возможность оценить групповое мнение, но за это приходится расплачиваться потерей некоторой доли информации. Поэтому прибегая к тем или иным статистическим приемам математической обработки информации, полученной от экспертов, необходимо учитывать, что в зависимости от существа и характера исследуемой проблемы, уровня ее неопределенности, возможности предсказания новых состояний исследуемых явлений меняется форма, в которой эксперт может представить свое суждение. Оценки той или иной характеристики, полученные от эксперта (группы экспертов), могут быть представлены, например, в виде ряда распределения их как интервал, внутри которого, по предположению, находится исследуемая характеристика, или же в виде точечной оценки. Вне зависимости от формы оценки должны обладать свойством непротиворечивости.
Стихийно сложившиеся формы экспертизы как способа получения и анализа информации уже давно используются при выработке решений в медицинской области (консилиум врачей) и военном деле (военный совет). Позднее этот список пополнили юридическая (судебная экспертиза), экономическая (выработка решений) и другие области деятельности. Научные же исследования по рациональному проведению экспертизы стали проводиться лишь в 1960— 1970-е гг. В результате этой работы возник научный метод под общим названием "метод экспертных оценок". Его характерная черта — рациональная организация проведения экспертами качественного анализа проблемы с количественной оценкой определенным образом упорядоченных суждений и соответствующей их обработкой.
Экспертное знание используется преимущественно в ситуациях, связанных с выработкой и принятием решений в условиях частичного или полного отсутствия необходимой достоверной информации. Знание экспертов зачастую является единственным источником пополнения необходимой информации для принятия решений.
Выполняя задачу формирования и оценки характеристик объектов5, эксперты реализуют следующие функции: во-первых, являются источниками информации, например, недостающей, корректирующей, дублирующей с целью контроля (исходная функция); во-вторых, оценивают характеристики объектов, событий, решений (на основе этих двух разновидностей функций базируется метод экспертных оценок, характеризующийся по преимуществу количественным под-
5 Евланов Л.Г. Теория и практика принятия решений. М., 1984. С. 133.
ходом к получению экспертного знания); в-третьих, генерируют идеи и предложения по преобразованию объектов, по постановке и решению проблем (на использовании данной функции эксперта построена идеология интеграции концепций экспертов в методе КУРС (комплексное управление развитием систем), характеризующаяся преимущественно качественным подходом к получению экспертного знания6).
Последнее из перечисленных направлений применения экспертов еще недостаточно активно разрабатывается в социологии, хотя здесь заключен большой познавательный и практический потенциал. Нужно отметить, что еще слабо развит сам подход к использованию экспертов в качестве потенциальных источников идей и предложений по преобразованию предметных областей. Но "компетентное знание" экспертов может рассматриваться и как специфический социальный феномен, заключающийся в получении от экспертов информации, несущей в себе возможные способы решения проблем в той предметной области, которая входит в предмет конкретного социологического исследования7. Состояние развития этого направления в социологии характеризует степень разработанности метода экспертного опроса и существующих границ его использования в социологической практике.
Статус знания экспертов отличается от таких существующих типов знания, как научное и чувственно-эмпирическое. Научное знание является рациональным, аналитическим, дискурсивно излагаемым, что лежит в основании известных достоинств науки. Но применение научного знания, являющегося абстрактной формой отражения реальности, требует сложных опосредующих, промежуточных процедур. Например, процедур, связанных с системным объединением аналитических положений науки с различного рода проектированием, с научно-исследовательскими, опытно-конструкторскими и экспериментальными разработками и другими звеньями, предшествующими принимаемым решениям, в основе которых лежит научное знание.
Научное обществоведческое знание имеет ярко выраженный аксиологический характер, обусловленный исторически сложив-
6 Иванов В.Г., Криворотов В.Ф., Малиновская Е.В., Никаноров С.П. Комплекси-рование концепций как метод построения целевых комплексных программ без априорно задаваемых целей // Программно-целевой метод: проблемы развития и освоения (Всесоюзный симпозиум). Свердловск, 1983.
7 Адаптацию и изложение метода КУРС для социологов см.: Масленников Е.В. Метод интеграции концепций экспертов в социологическом исследовании (выявление, оценка и обобщение эмпирического знания). М., 1992; Он же. Экспертное знание: интеграционный подход и его приложение в социологическом исследовании. М., 2001.
шейся идеологической и философской направленностью общественных наук. В силу этих и других обстоятельств обществоведение отстает от запросов практики по созданию крупных проектов, опирающихся на многоаспектные решения.
Помимо этого, дисциплинарная организация науки предполагает дальнейшую аналитическую дифференциацию научного знания, углубление в фундаментальные моноаспектные, статично представленные проблемы. Но социальные проблемы полиструктурны, по-лиаспектны, динамичны, противоречивы и требуют адекватного интегративного подхода к поиску путей их решения.
В этом отношении выделяется метод интеграции концепций экспертов, поскольку позволяет на эмпирическом уровне полиаспектно описать проблемную ситуацию, определить систему стратегических и тактических целей по преодолению проблемной ситуации, разработать программу организационных решений и мероприятий по преодолению проблемной ситуации, т.е. по преобразованию данной предметной области в целях устранения проблемы.
Дополняя возможности других методов получения первичной социологической информации, концепции экспертов могут быть востребованы для выполнения познавательных и практических задач.
Феноменология компетентного знания экспертов обладает следующей характеристикой. С точки зрения предложенных в методологии науки структурно-номинативных параметров научного знания8, компетентное знание экспертов имеет логико-лингвистическую составляющую, с помощью которой оформляется авторская концепция эксперта, модельно-репрезентативную составляющую, через которую осуществляется связь концепции с реальностью, прагматико-процедурную составляющую, на основе которой решаются поставленные задачи, проблемно-эвристическую составляющую, являющуюся механизмом постановки и разрешения познавательных и практических задач строгими и эвристическими методами.
Достоинство знания эксперта состоит в том, что оно является отраженной формой, слепком проблемно-ориентированной деятельности. Все элементы деятельности как процесса и структуры, выделяемые в культурно-исторической психологической парадигме, включены в компетентное знание эксперта. Сюда входят функционально-целевые компоненты, задающие ориентиры движения проблемно-ориентированной деятельности и движения компетентного знания, ориентированного на искомые результаты. Такое знание
8 Бургин М.С., Кузнецов В.И. Системный анализ научной теории на основе концепции именованных множеств // Системные исследования. Ежегодник 1985. М., 1986. С. 136—160; Они же. Номологические структуры научных теорий. Киев, 1993.
целенаправленно и мотивированно. Мотивы — побуждающие, детерминирующие факторы, которые лежат в основе выбора целей деятельности и в то же время выполняют ее смыслообразующую функцию. Они придают личностно-смысловой характер целям и самой деятельности эксперта.
Таким образом, компетентное знание экспертов является целенаправленным, целеполагающим, проблемно-ориентированным, учитывающим ограничения при целеформировании, что составляет его достоинство в сравнении с фундаментальным знанием, склонным к большей универсализации и экспансии.
Помимо этого нужно отметить, что эмпирические формы знания, а также научно-эмпирические и фундаментальные концепции по своему построению являются ограниченными, частными, субъективно выбранными способами понимания, сфокусированными на определенной предметной области, ресурсах, методах, научном аппарате, области применения. Поскольку в основании теории лежит концепция, то ограничения концепции — это ограничения и теории. Теория также имеет частный характер. Экспертное знание может быть основанием для разработки концепций и соответствующих предметных теорий.
Компетентное знание экспертов обладает особой поисковой возможностью, эвристикой. Эксперт — не только носитель компетентного знания, он выступает в качестве творческого экспериментирующего субъекта в ходе своей практической деятельности. В результате эксперт может не только выполнять предметные задачи, но и открывать новые социальные формы, свойства и отношения, которые могут быть отнесены к социальным изобретениям.
Опыт деятельности научно-общественного движения по созданию теории решения изобретательских задач (ТРИЗ) показывает, что развитие социальной эвристики и изобретательства во многом связано с той же ролью и статусом экспертов, которыми они наделяются в методе интеграции концепций.
Научное социальное, в том числе социологическое, знание строится, прежде всего, как описательное знание естественноистори-ческого процесса (хода событий). Но пока слабо востребованной для развития социального знания остается роль социального опыта и эксперимента. Для исправления этого положения необходимо изменить статус эксперта в социологическом знании.
Компетентное знание экспертов в форме авторских концепций можно определить как субъектное бытие духовного состояния индивидуума. Это важно подчеркнуть в связи с ростом внимания в постмодернистских течениях в социологии к гуманистическим
устремлениям, дихотомическим, диалоговым формам социального познания, в связи с интересом к уникальному, личностному, неповторимому и т.д. Эксперты и есть уникальные личностные феномены социальной эвристики, социального движения.
Представители социально-философской герменевтики, Р. Барт, М. Фуко, Ж. Дерида и др. утверждают, что социальная реальность творима наиболее активной (10%) частью населения. На наш взгляд, сюда следует включать потенциал не только лидеров в финансово-политической, законодательной деятельности, но и лиц, обладающих компетентным знанием — экспертов. На это указывают как рациональные компоненты сознания и мышления экспертов, так и интуитивность, импровизационность и другие сверхсознательные формы их творческой активности.
Авторские концепции экспертов содержат черты рационального аналитического знания, интуитивно-творческого иррационального его состояния, а также черты эмпирического чувственно воспринимаемого знания — опыта. По-видимому, они являются наиболее целостным видом знания, включающем в себя достоинства науки, опыта и практики.
На основании этого предположения можно сделать вывод о том, что такой вид знания может использоваться для ориентации в социальной практической системе отношений и для подготовки принятия крупномасштабных решений, минуя промежуточные звенья, которые возникают при использовании научного аналитического знания или при обращении к жизненному опыту тех или иных специалистов.
В литературе9 указывается, что метод экспертных оценок базируется на основе использования двух разновидностей функций экспертов — функции источника уникальной информации или информации, дополняющей существующие данные, полученные из других источников, и оценочной функции характеристик объектов, событий, решений. Но существует и используется в "теории и практике принятия решений" еще и третья разновидность функций экспертов. Это функция генератора идей и предложений по преобразованию, совершенствованию социально-экономических объектов, постановке проблем их развития и выдвижению способов решения этих проблем. Если первые две разновидности функций экспертов преимущественно используются в методических разновидностях количественного подхода к получению и обработке экспертного знания, то использование третьей функции — генера-
9 Евланов Л.Г. Указ. соч.
тора идей — характерно для методических разновидностей качественного подхода10.
Подбор количественного и качественного состава экспертов производится в зависимости от направленности и выявленного масштаба решаемой проблемы, затрат ресурсов, характеристик экспертов, достоверности возможных оценок. Характеристики формируемой группы экспертов определяются на основе следующих индивидуальных характеристик экспертов: компетентность, креативность, конформизм, отношение к экспертизе, конструктивность мышления, теоретическая подготовка, эрудиция и т.п.
В зависимости от применяемой техники организации коллективной работы экспертов, выбор которой связан с целями экспертизы, содержанием решаемой проблемы, полнотой и достоверностью исходной информации, располагаемыми ресурсами на проведение опроса и т.п., выбирают необходимые виды организации групповой работы экспертов: метод мозгового штурма, метод дискуссии, метод Дельфи и т.д. Под экспертизой понимается процедура получения информации от экспертов, а также ее результат — решение экспертами поставленных перед ними в ходе исследования задач.
Т"> ____<-> __и
В соответствии с типом поставленной практической задачи, на поиск решения которой направлено исследование с использованием экспертного знания, определяются виды методов и способов обработки данных, получаемых от экспертов.
Экспертные технологии при принятии решений используются как для непосредственного решения проблем организации и проведения экспертиз, так и для обеспечения процедур принятия решений — определения целей, выработки экспертного прогноза, построения сценариев ожидаемого развития ситуации, генерирования альтернативных вариантов, определения рейтингов, разработки оценоч-
11
ных систем, принятия коллективных решений11.
Таким образом, методическое разнообразие способов получения и обработки экспертного знания связано с различными функциями привлекаемых экспертов и критериями их отбора. Для последующего расширения возможностей использования экспертного знания в социологии необходима дальнейшая разработка методологии интеграции концепций экспертов на основе функции эксперта в качестве генератора идей, постановки проблем и способов их устранения.
Наряду с количественным подходом в идеологии методов экспертной оценки, опирающихся на экспертное знание, имеется и
10 Григорьев С.И., Растов Ю.Е. Начала современной социологии. М., 1999. С. 236—242; Масленников Е.В. Экспертное знание: интеграционный подход и его приложение в социологическом исследовании. М., 2001.
11 Литвак Б.Г. Экспертные технологии в управлении. М., 2004. С. 35—37.
качественный подход. Так, существующая технология интеграции частных концепций экспертов как представитель качественного подхода разработана для интеграции частных концепций экспертов-практиков в общую комплексную концепцию.
Идеология метода КУРС, представленная в социологической ли-
1?
тературе методом интеграции концепций экспертов12, кратко может быть изложена следующим образом. Основное внимание уделяется получению "экспертного знания" от экспертов-практиков, которые в своих точках зрения на основе своего уникального опыта отражают частное понимание проблемной ситуации, предлагают свою постановку проблемы и возможный способ ее решения, т.е. частную концепцию эксперта. Организаторы работы ставят по определенным критериям все полученные частные концепции в отношения друг с другом и в итоге формируют относительно объективированную общую картину актуализированных по факторам необходимости и факторам возможности способов решения сложившихся проблем на пути совершенствования (преобразования и в пределе — развития) интересующего социально-экономического объекта, который входит в сферу повседневной деятельности и опыта данных экспертов. Все полученные частные концепции, нормированные фактором времени их актуальной реализации, образуют в общей картине отношений между ними систему стратегических и тактических целей преобразования данного социально-экономического объекта. Реализация предложенного экспертом содержания частной концепции, наиболее отдаленной во времени, рассматривается организаторами в качестве стратегической цели совершенствования данного социально-экономического объекта, а все остальные — тактическими целями, работающими (создающими условия для реализации) на эту стратегическую. До начала работы эти отношения не выявлены и неизвестны ни экспертам, ни организаторам. Разнообразие содержания частных концепций — следствие разнообразия позиций, занимаемых специалистами-экспертами в системе специализации в производственной деятельности. Девиз для идеологии метода КУРС — "никто не знает больше того, чем знаем все мы вместе".
Идеология метода КУРС является полуэмпирической формой отражения представлений о развитии социальных объектов. Она будет актуальной лишь до тех пор, когда ей на смену не придут теоретические представления о развитии социальных объектов. Если в методе КУРС заменить частные концепции экспертов-практиков
12 Масленников Е.В. Указ. соч.
на частные концепции экспертов-теоретиков, то это будет всего лишь редукцией теоретических представлений о развитии к эмпирическим. На новый уровень социальной и научной значимости может быть поднята технология интеграции частных концепций в целостную общую, если будет создана возможность интеграции частных концепций экспертов-теоретиков. Но в этом случае для интеграции таких частных концепций должен применяться другой способ, другие требования к формированию частных концепций экспертов, их отбору, к форме изложения содержания концепций, их формальному синтезу, в результате которого и формируется интегрированная целостная концепция. Решение задачи разработки технологии интеграции частных концепций экспертов-теоретиков в общую теоретическую концепцию становится возможным, если использовать абстрактную теорию развития, построенную на основе соответствующего конструкта. В новом подходе к интеграции частных концепций экспертов-теоретиков предполагается использование методологии концептуального анализа, позволяющей проведение теоретического исследования качественного аспекта интересующей предметной области с применением форм математической (аксиоматической) теории и аппарата структурной математики13. Обоснование необходимости использования форм математической теории для получения возможности математического инструментального исследования предметных областей социологии как совокупности теоретического знания в целях его интеграционного построения, дальнейшего углубления и развития14 в той же степени относится и к интеграции частных концепций экспертов-теоретиков, например, в области социологии.
Для обоснованного применения концептуальных методов в решении задачи интеграции частных концепций экспертов-теоретиков необходимо учитывать следующие особенности, характеризующие состояние исследуемой предметной области. Во-первых, это сами существующие частные предметные концепции различных авторов, высказывающих свои точки зрения на то, как устроен исследуемый предмет, как он проявляется, каким образом точка зрения автора апробирована практикой. Все концепции должны иметь статус отработанных, оправдавших себя концепций, с помощью
13 Масленников Е.В. Перспективы применения структурных математических конструктов как основы инструментальной концептуализации предметных областей социологии: постановка проблемы // Вестник Московского университета. Серия 18. Социология и политология. 2016. № 2. С. 24—37.
14 Масленников Е.В. Инструментальная концептуализация предметных областей социологии: некоторые возможные решения // Вестник Московского университета. Серия 18. Социология и политология. 2016. № 3. С. 56—73.
которых достигался тот или иной реальный эффект. Как правило, каждая из концепций претендует на всеобщность, на то, что она способна объяснить весь предмет представленной науки (социологии, психологии и т.д.), все ее феномены. Это эффект абсолютизации экспертом своей частной точки зрения. Поскольку среди концепций могут быть такие, которые друг с другом не соотнесены, следствием этого является стремление их авторов принизить другие концепции, объявить их не вполне обоснованными.
Во-вторых, это особенность, состоящая в том, что наука (или отдельная предметная область), представленная в частных концепциях, по общим оценкам представителей этой науки и их сообществ еще не имеет точно определенного ("развитого") предмета, который позволил бы концептуализировать данную область. Последняя представлена мозаикой слабо соотнесенных между собой идей.
В теории и практике использования экспертного знания данная постановка проблемы носит инновационный характер. Проблема не разработана. Но уже имеются теоретические заделы для ее решения на основе методологии концептуального анализа. Теоретической основой для решения данной задачи могут послужить разработки по теории развития как многомерной полиаспектной дизъюнктивной сети с возрастающей сложностью15. Таким образом, соединение усилий социологов и специалистов в области инструментальных теоретических исследований — концептуалистов, оснащенных соответствующими методами, — позволит решить столь сложную и актуальную задачу.
СПИСОК ЛИТЕРАТУРЫ
Аверин Ю.П. Теоретическое построение количественного социологического исследования. М., 2014.
Бальцер В., Мулинз К.У., Снид Дж.Д. Архитектоника науки. Структуралистская программа // Общественные науки за рубежом. Сер. Науковедение. 1989. № 2.
Баранов Л. Т., Птушкин А.И., Трудов А.В. Нечеткие множества в экспертном опросе // Социология: 4М. 2004. № 19.
Бешелев С.Д., Гурвич Ф.Г. Экспертные оценки. М., 1973.
Бешелев С.Д., Гурвич Ф.Г. Математико-статистические методы экспертных оценок. М., 1980.
15 Иванов А.Ю. Основные формальные структуры прототипа теоретической психологии // Освоение и концептуальное проектирование интеллектуальных систем: Сб. тез. докл. и сообщ / Под ред. С.П. Никанорова. Науч. конф., Москва, 21-27 апреля 1990. М., 1990. Ч. I. С. 167-170; Иванов А.Ю., Никаноров С.П. Методы теоретического исследования процессов филогенетического развития // Системное управление — проблемы и решения. М., 1995.
Бургин М.С., Кузнецов В.И. Системный анализ научной теории на основе концепции именованных множеств // Системные исследования. Ежегодник 1985. М., 1986. С. 136—160.
Бургин М.С., Кузнецов В.И. Номологические структуры научных теорий. Киев, 1993.
Волков А.М., Царев Ю.Е., Федченко В.С. Экспертные системы: структурно-функциональный подход к извлечению экспертного опыта. М., 1991.
Григорьев С.И., Растов Ю.Е. Начала современной социологии. М., 1999.
Евланов Л.Г. Теория и практика принятия решений. М., 1984.
Жерардэн Л. Исследование альтернативных картин будущего. Метод составления сценариев. Руководство по научно-техническому прогнозированию. М., 1977.
Иванов А.Ю. Основные формальные структуры прототипа теоретической психологии // Освоение и концептуальное проектирование интеллектуальных систем: Сб. тез. докл. и сообщ. / Под ред. С.П. Никанорова. Науч. конф., Москва, 21—27 апреля 1990. М., 1990. Ч. I. С. 167—170.
Иванов А.Ю., Никаноров С. П. Методы теоретического исследования процессов филогенетического развития // Системное управление — проблемы и решения. М., 1995.
Иванов В.Г., Криворотов В.Ф., Малиновская Е.В., Никаноров С.П. Ком-плексирование концепций как метод построения целевых комплексных программ без априорно задаваемых целей // Программно-целевой метод: проблемы развития и освоения (Всесоюзный симпозиум). Свердловск, 1983.
Кукушкина С.Н. Метод Дельфи в Форсайт-проектах // Форсайт. 2007. № 1.
Ларичев О.И., Мечитов А.И., Мошкович Е.М., Фуремс Е.М. Выявление экспертных знаний (процедуры и реализация). М., 1989.
Лебедев С.А. Знание // Философия науки: краткая энциклопедия (основные направления, концепции, категории). М., 2008. С. 366.
Литвак Б.Г. Экспертные технологии в управлении. М., 2004.
Марача В.Г., Матюхин А.А. Экспертиза, как "институт общественных изменений" // Этюды по социальной инженерии. М., 2002. С. 113—133.
Масленников Е.В. Метод интеграции концепций экспертов в социологическом исследовании (выявление, оценка и обобщение эмпирического знания). М., 1992.
Масленников Е.В. Эксперт в социологическом исследовании // Вестник Московского университета. Серия 18. Социология и политология. 1995. № 4.
Масленников Е.В. Экспертное знание: интеграционный подход и его приложение в социологическом исследовании. М., 2001.
Масленников Е.В. Особенности отбора экспертов // Социология. 2010. № 2. С. 82—93.
Масленников Е.В. Инструментальная концептуализация предметных областей социологии: некоторые возможные решения // Вестник Московского университета. Серия 18. Социология и политология. 2016. № 3. С. 56—73.
Никаноров С.П. Концептуализация предметных областей. Серия "Концептуальный анализ и проектирование". Методология и технология. М., 2009.
Никаноров С.П. Введение в аппарат ступеней множеств. Серия "Концептуальный анализ и проектирование". Математический аппарат. М., 2010.
Оптнер С. Системный анализ для решения деловых и промышленных проблем / Вст. статья С.П. Никанорова. М., 1969.
Орлов А.И. Экспертные оценки // Организационно-экономическое моделирование: учебник: В 3 ч. Ч. 2. М., 2011.
Осуга С. Обработка знаний. М., 1989.
Попов С. В. Методологически организованная экспертиза как форма организации общественных изменений // Этюды по социальной инженерии. М., 2002. С. 45-63.
Решебник задач по концептуальному мышлению / Под ред. А.Ю. Иванова. М., 2013.
Самоорганизация и наука: опыт философского осмысления / Отв. ред. И.А. Акчурин, В.И. Аршинов. М., 1994.
Саушев А.В. Экспертный анализ // Методы теории эксперимента. СПб., 1996.
Силов В.Б. Принятие стратегических решений в нечеткой обстановке. М., 1995.
Толстова Ю.Н. Роль моделирования в работе социолога: логический аспект // Социология: 4М. 1996. № 7.
Хелмер О. Анализ будущего: метод Дельфи // Научно-техническое прогнозирование для промышленности и правительственных учреждений / Под ред. Дж. Брайта. М., 1997.
Экспертные оценки в социологических исследованиях / Отв. ред. С.Б. Крымский. Киев, 1990.
REFERENCES
Averin Yu.P. Teoreticheskoe postroenie kolichestvennogo sotsiologicheskogo issledovaniya [Theoretical construction of quantitative sociological research]. M., 2014 (in Russian).
Bal'tser V., MulinzK.U., SnidDzh.D. Arkhitektonika nauki. Strukturalistskaya programma [Architectonics of science. Structuralist program] // Obshchestven-nye nauki za rubezhom. Ser. Naukovedenie [Social Sciences Abroad. Ser. Science]. 1989. N 2 (in Russian).
BaranovL.T., Ptushkin A.I., TrudovA.V. Nechetkie mnozhestva v eks-pertnom oprose [Fuzzy sets in the expert survey] // Sotsiologiya: 4M [Sociology: 4M]. 2004. N 19 (in Russian).
Beshelev S.D., Gurvich F.G. Ekspertnye otsenki [Expert assessments]. M., 1973 (in Russian).
Beshelev S.D., Gurvich F.G. Matematiko-statisticheskie metody eks-pert-nykh otsenok [Mathematico-statistical methods of expert estimates]. M., 1980 (in Russian).
Burgin M.S., Kuznetsov V.I. Sistemnyi analiz nauchnoi teorii na osnove kontseptsii imenovannykh mnozhestv [System analysis of the scientific theory on the basis of the concept of named sets] // Sistemnye issledovaniya. Ezhegodnik 1985 [System studies. Yearbook 1985]. M., 1986. S. 136-160 (in Russian).
Burgin M.S., Kuznetsov V.I. Nomologicheskie struktury nauchnykh teorii [Nomological structures of scientific theories]. Kiev, 1993 (in Russian).
Dalkey N.C. The Delphi method: an experimental study of group opinion. Memorandum. RM-5888-PR. Santa-Monica, 1969.
Delphi: a technique to harness expert opinion for critical... // Educational Psychology. 1997. Dec. Vol. 17. Iss. 4. Ch. 1. P. 373.
Ekspertnye otsenki v sotsiologicheskikh issledovaniyakh [Expert assessments in sociological research] / Otv. red. S.B. Krymskii [Ed. by S.B. Crimean] Kiev, 1990 (in Russian).
Evlanov L.G. Teoriya i praktika prinyatiya reshenii [Theory and practice of decision-making]. M., 1984 (in Russian).
Gordon T., Helmer O. Report on a long range forecasting study. RAND Paper P-2982. RAND Corporation, Santa Monica, 1964.
Grigor'ev S.I., Rastov Yu.E. Nachala sovremennoi sotsiologii [The beginning of modern sociology]. M., 1999 (in Russian).
Incorporating judgments in Salez Forecasts: applications of the Delphi method at American Hoist & Derrick // Interfaces. 1977. May. Vol. 7. Iss. 3.
Ivanov A.Yu. Osnovnye formal'nye struktury prototipa teoreticheskoi psik-hologii [The main formal structures of the prototype of theoretical psychology] // Osvoenie i kontseptual'noe proektirovanie intellektual'nykh sistem: Sb. tez. dokl. i soobshch. / Pod red. S.P. Nikanorova. Nauch. konf., Moskva, 21-27 aprelya 1990 [Mastering and conceptual design of intellectual systems: Sat. Tez. Doc. And communication. Ed. S.P. Nikanorova. Scientific. Conf., Moscow, April 21-27, 1990]. M., 1990. Ch. I. S. 167-170 (in Russian).
Ivanov A.Yu., Nikanorov S.P. Metody teoreticheskogo issledovaniya pro-tsessov filogeneticheskogo razvitiya [Methods of theoretical investigation of the processes of phylogenetic development] // Sistemnoe upravlenie - problemy i resheniya [System management - problems and solutions]. M., 1995 (in Russian).
Ivanov V.G., Krivorotov V.F., Malinovskaya E.V., Nikanorov S.P. Komplek-sirovanie kontseptsii kak metod postroeniya tselevykh kompleksnykh programm bez apriorno zadavaemykh tselei [Integration of concepts as a method of constructing targeted complex programs without a priori set goals] // Programmno-tselevoi metod: problemy razvitiya i osvoeniya (Vsesoyuznyi simpozium) [Program-target method: problems of development and development (All-Union Symposium)]. Sverdlovsk, 1983 (in Russian).
Khelmer O. Analiz budushchego: metod Del'fi [Future analysis: Delphi method] // Nauchno-tekhnicheskoe prognozirovanie dlya promyshlennosti i pravitel'stvennykh uchrezhdenii [Scientific and technical forecasting for industry and government agencies] / Pod red. Dzh. Braita [Ed. by J. Bright]. M., 1997 (in Russian).
Kukushkina S.N. Metod Del'fi v Forsait-proektakh [The Delphi Method in Foresight Projects] // Forsait [Foresight]. 2007. N 1 (in Russian).
Larichev O.I., Mechitov A.I., Moshkovich E.M., Furems E.M. Vyyavlenie ekspertnykh znanii (protsedury i realizatsiya) [Identification of expertise (procedures and implementation)]. M., 1989 (in Russian).
Lebedev S.A. Znanie [Knowledge] // Filosofiya nauki: kratkaya entsiklopediya (os-novnye napravleniya, kontseptsii, kategorii) [Philosophy of Science: a short encyclopaedia (main directions, concepts, categories)]. M., 2008. S. 366 (in Russian).
Litvak B.G. Ekspertnye tekhnologii v upravlenii [Expert technologies in management]. M., 2004 (in Russian).
Maracha V.G., Matyukhin A.A. Ekspertiza, kak "institut obshchestvennykh izmenenii" [Expertise as an "institution of social change"] // Etyudy po sotsial'noi inzhenerii [Etudes on social engineering]. M., 2002. S. 113—133 (in Russian).
Maslennikov E.V. Metod integratsii kontseptsii ekspertov v sotsiolo-giches-kom issledovanii (vyyavlenie, otsenka i obobshchenie empiricheskogo znaniya) [The method of integrating the concepts of experts in sociological research (identification, evaluation and generalization of empirical knowledge)]. M., 1992 (in Russian).
Maslennikov E.V. Ekspert v sotsiologicheskom issledovanii [Expert in sociological research] // Vestnik Moskovskogo universiteta. Seriya 18. Sotsiologiya i politologiya [Bulletin of Moscow University. Series 18. Sociology and Political Science]. 1995. N 4 (in Russian).
Maslennikov E.V. Ekspertnoe znanie: integratsionnyi podkhod i ego prilozhe-nie v sotsiologicheskom issledovanii [Expert knowledge: the integration approach and its application in sociological research]. M., 2001 (in Russian).
Maslennikov E.V. Osobennosti otbora ekspertov [Features of selection of experts] // Sotsiologiya [Sociology]. 2010. N 2. S. 82-93 (in Russian).
Maslennikov E.V. Instrumental'naya kontseptualizatsiya predmetnykh oblastei sotsiologii: nekotorye vozmozhnye resheniya [Instrumental conceptualization of subject areas of sociology: some possible solutions] // Vestnik Moskovskogo universiteta. Seriya 18. Sotsiologiya i politologiya [Bulletin of Moscow University. Series 18. Sociology and Political Science]. 2016. N 3. S. 56-73 (in Russian).
Nikanorov S.P. Kontseptualizatsiya predmetnykh oblastei. Seriya "Kontsep-tual'nyi analiz i proektirovanie". Metodologiya i tekhnologiya [Conceptualization of subject areas. Series "Conceptual analysis and design". Methodology and technology]. M., 2009 (in Russian).
Nikanorov S.P. Vvedenie v apparat stupenei mnozhestv. Seriya "Kontsep-tual'nyi analiz i proektirovanie". Matematicheskii apparat [Introduction to the apparatus of steps of sets. A series of "Conceptual analysis and design". Mathematical apparatus]. M., 2010 (in Russian).
Optner S. Sistemnyi analiz dlya resheniya delovykh i promyshlennykh problem [System analysis for solving business and industrial problems] / Vst. stat'ya S.P. Nikanorova [Vst. article S.P. Nikanorova]. M., 1969 (in Russian).
Orlov A.I. Ekspertnye otsenki [Expert assessments] // Organizatsionno-eko-nomicheskoe mo-delirovanie: uchebnik: v 3 ch. Ch. 2 [Organizational-economic modeling: textbook: at 3 pm Part 2]. M., 2011 (in Russian).
Osuga S. Obrabotka znanii [Handling knowledge]. M., 1989 (in Russian).
Popov S.V. Metodologicheski organizovannaya ekspertiza kak forma organi-zatsii obshchestvennykh izmenenii [Methodologically organized examination as a form of organization of social change] // Etyudy po sotsial'noi inzhenerii [Etudes on social engineering]. M., 2002. S. 45-63 (in Russian).
Reshebnik zadach po kontseptual'nomu myshleniyu [Remaster of tasks on conceptual thinking] / Pod red. A.Yu. Ivanova [Ed. by A.Yu. Ivanova]. M., 2013 (in Russian).
Rohrbaugh J. Assessing the effectivness of expert teams // Expert Judgment and Expert Systems. B., 1987.
Samoorganizatsiya i nauka: opyt filosofskogo osmysleniya [Self-organization and science: the experience of philosophical reflection] / Otv. red. I.A. Akchurin, V.I. Arshinov [Ed. by I.A. Akchurin, V.I. Arshinov]. M., 1994 (in Russian).
Saushev A.V. Ekspertnyi analiz [Expert analysis] // Metody teorii eksperi-menta [Methods of the theory of experiment]. SPb., 1996 (in Russian).
Silov V.B. Prinyatie strategicheskikh reshenii v nechetkoi obstanovke [Making strategic decisions in a fuzzy environment]. M., 1995 (in Russian).
The Delphi decision-making process // Journal of Psychology. 1983. Jan. Vol. 113. Iss. 1.
The Delphi method: techniques and applications / Ed. by H. Linstone, M. Turoff. Newark, 1975.
The reliability and convergence of the Delphi technique // Journal of General Psychology. 1978. Apr. Vol. 98. Iss. 2.
Tolstova Yu.N. Rol' modelirovaniya v rabote sotsiologa: logicheskii aspect [The role of modeling in the work of a sociologist: the logical aspect] // Sotsio-logiya: 4M [Sociology: 4M]. 1996. N 7 (in Russian).
Volkov A.M., Tsarev Yu.E., Fedchenko V.S. Ekspertnye sistemy: strukturno-funktsional'nyi podkhod k izvlecheniyu ekspertnogo opyta [Expert systems: a structured and functional approach to extracting expert experience]. M., 1991 (in Russian).
Zherarden L. Issledovanie al'ternativnykh kartin budushchego. Metod sos-tavleniya stsenariev. Rukovodstvo po nauchno-tekhnicheskomu prognozirovaniyu [Study of alternative pictures of the future. Method of making scenarios. Guide to scientific and technical forecasting]. M., 1977 (in Russian).
