Научная статья на тему 'Сетевая экспертная поддержка решений'

Сетевая экспертная поддержка решений Текст научной статьи по специальности «Экономика и бизнес»

CC BY
596
196
i Надоели баннеры? Вы всегда можете отключить рекламу.
Ключевые слова
QUANTUM SEMANTICS / COGNITIVE MODELING / CONVERGENCE / LATENT INFORMATION / INTANGIBLE ASSETS / INVERSE PROBLEM / DECISION SUPPORT / NETWORK-MEDIATED CONSENT / DISTRIBUTED EXPERT ASSESSMENT / STRATEGIC MANAGEMENT / SITUATION CENTER / THERMODYNAMICS / ROBUSTNESS

Аннотация научной статьи по экономике и бизнесу, автор научной работы — Райков Александр Николаевич

Для повышения качества поддержки управленческих решений интегрируются возможности ситуационных и экспертно-аналитических центров, сетевых экспертных процедур, методов обработки скрытой (латентной) информации. При интеграции используется методология конвергентного управления, создающая необходимые структурные условия для обеспечения сходимости процессов достижения согласия распределенных участников принятия решений относительно целей и путей действий. Имеется весомая практическая апробация.

i Надоели баннеры? Вы всегда можете отключить рекламу.

Похожие темы научных работ по экономике и бизнесу , автор научной работы — Райков Александр Николаевич

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.
i Надоели баннеры? Вы всегда можете отключить рекламу.

Capabilities of expert-analytic and situation centers, distributed expert assessment routines, methods of implicit (or latent) information disclosure are combined on the basis of methodology of convergent management to provide higher quality of management decision making. Methodology of convergent management provides sufficient structural conditions for convergence of consensus achievement processes in a distributed expert community discussing aims and operative directions. The approach has a number of convincing applications.

Текст научной работы на тему «Сетевая экспертная поддержка решений»

УДК 001.8 + 004.8 ББК 65.05.02 + 32.81

СЕТЕВАЯ ЭКСПЕРТНАЯ ПОДДЕРЖКА РЕШЕНИЙ

Райков А. Н.1

(Учреждение Российской академии наук Институт проблем управления им. В. А. Трапезникова РАН, Москва)

Для повышения качества поддержки управленческих решений интегрируются возможности ситуационных и экспертноаналитических центров, сетевых экспертных процедур, методов обработки скрытой (патентной) информации. При интеграции используется методология конвергентного управления, создающая необходимые структурные условия для обеспечения сходимости процессов достижения согласия распределенных участников принятия решений относительно целей и путей действий. Имеется весомая практическая апробация.

Ключевые слова: квантовая семантика, когнитивное моделирование, конвергентность, латентная информация, нематериальные активы, обратные задачи, поддержка решений, сетевое взаимопонимание, сетевые экспертные процедуры, стратегическое управление, ситуационный центр, термодинамика, устойчивость.

1. Сетевые экспертные сообщества

Поиск дополнительных возможностей для поддержки государственных и корпоративных решений обусловили развитие «фабрик мысли», сетевых экспертных и профессиональных сообществ, экспертно-аналитических центров [8]. Во всем мире сейчас насчитывается около шести тыс. таких центров, из них в России - порядка ста.

1 Александр Николаевич Райков, доктор технических наук, профессор, ведущий научный сотрудник (Москва, ул. Профсоюзная, д. 65,

тел. +7 (495) 334-78-00).

Основными факторами, стимулирующими сетевую экспертную деятельность, являются: потребность в независимой экспертизе, уменьшение монополии власти на информацию, рост сложности политических и экономических проблем, увеличение численности сотрудников государственного аппарата, рост влияния гражданского общества на принятие государственных решений, потребность в своевременной и оригинальной информации, приверженность принципам транспарентности (открытости) и социальной ответственности бизнеса [10].

К факторам, препятствующим развитию экспертной деятельности, можно отнести: политическое и лоббистское окружение власти, коррупцию, краткосрочные и частные интересы спонсоров и руководителей финансирующих фондов, а также незаинтересованность адвокатских организаций и сетевых медийных структур в развитии независимой от них экспертизы.

В высших органах власти, где преобладает доверительные отношения, больше работают корпоративистские экспертные приемы, сутью которых является достижение консенсуса при принятии решений. В более низких управленческих слоях включается плюралистическая модель экспертизы, преобладает воля большинства, работают механизмы голосования, усиливается влияние коалиций. На нижних слоях управления функционируют независимые сетевые экспертные сообщества.

Потребность в развитии сетевых экспертных процедур обуславливает необходимость применения теории управления организационными системами [2] и интеллектуальных информационных технологий [5]. При работе в сети не всегда помогают традиционные лингвистические приёмы, семантические сети, экспертные системы, онтологии. Для ускорения взаимопонимания, достижения согласия экспертов относительно целей и путей действий в сети нужны новые инструменты.

Информационные технологии хорошо оперируют формой, мерой. А как образмерить то, что явной меры не имеет? Как построить модель глобального кризиса, обусловленного множеством латентных, скрытых факторов? Как поступать в спорных, творческих и конфликтных ситуациях, когда процесс принципиально нелогичен?

В середине XX века для моделирования в условиях неопределенности, когда ситуация не формализуется, появились идеи искусственного интеллекта, инженерии знаний. Однако на практике эти идеи хорошо реализовывалась только в замкнутых проблемных областях, например, экспертные системы ориентировались на подмену эксперта в определенной области: врача, геолога, оператора и пр. Однако система плохо работала при поддержке групповых экспертных процедур. Развитие инженерии знаний осуществлялось в контексте следующих реалий:

• становление информационного общества потребовало развития экспертно-аналитических сетей;

• появилась необходимость исследования систем в точках неустойчивости с учетом беспричинных событий;

• потребовалось создание условий для обеспечения устойчивой сходимости групповых процессов принятия решений к неявным целям;

• развитие гуманитарного фактора заставило при принятии решений больше внимания уделить чувствам, мыслям, эмоциям, нематериальным активам;

• ограниченность возможностей традиционной лингвистической обработки информации породило идею квантовой семантики.

2. Ускорение сетевых командных решений

Опытные руководители часто пользуются правилом, что некая группа людей, команда, имеющая проблему, своими силами и лучше других может её решить - надо только привлечь нужных экспертов и применить соответствующий метод аккумуляции усилий.

Построение команды и работа группы экспертов связаны с человеческими особенностями, такими как: добросовестность, доверие и ответственность. Командная работа обеспечивает, прежде всего, глубинное взаимопонимание, доверие, безопасность. В работе групп людей следует учитывать ожидаемые результаты, конфликты и обязательства. Сбалансированность проявления тех или иных элементов в групповой работе характери-

зуют способность ее лидеров к созданию и поддержанию жизнедеятельности команды.

Большинство атрибутов сетевой групповой работы ускользает от формального описания. Параметры команды больше носят характер: аффективный, когнитивный, латентный, качественный. Вместе с тем именно внесение в процесс достижения согласия в команде элементов формализации является уникальным способом ускорения процессов принятия групповых решений.

Эффективной технологической основой поддержки процессов принятия групповых решений могут служить ситуационные центры, оборудованные экранами коллективного пользования, методиками формализации, аналитическими инструментариями. Однако участники принятия решений все чаще оптимизируют свое время, и совещания тогда могут проводиться в сети распределенных ситуационных центров.

3. Конвергентная сетевая поддержка решений

Чтобы обеспечить при распределенной подготовке решений быстрое достижение согласия людей относительно целей и путей действий, стоит учитывать фундаментальные закономерности поведения и обработки информации, в том числе, латентной. С учетом этих закономерностей соответствующим образом должны быть организованы сетевые групповые экспертные процедуры. В основу организации групповых процессов принятия решений может быть положен конвергентный подход [6]. Суть подхода заключается в учете термодинамических, квантово-механических и иных закономерностей в управлении групповыми процессами принятия решений. При конвергентном подходе информация структурируется таким образом, чтобы обеспечивалось устойчивое решение обратных задач на неметрических пространствах, а также, сбалансированное соотношение между качественной и количественной информацией, величиной обмена информации между внешней и внутренней средой, скоростями их изменения.

В процессах поддержки решений используется как информация баз данных, так и экспертная информация. Базы данных содержат образы, тексты, символы. Ситуации в базах данных представляются на формализованном или естественном языке, по ним собирается статистическая информация. Накопление такой информации позволяет сравнивать ситуации, делать прогнозы. Экспертная же информация ситуационно генерируется участниками процесса принятия решений. Она зависит от эмоций, настроений, мыслей, чувств, трансцендентных состояний ума, когнитивных способностей, интенций участников.

В первом случае при принятии решений особое внимание уделяется информационно-справочной работе, использованию средств автоматизированной обработки данных, таких как статистическая обработка, OLAP, Data-Mmmg, контент-анализ. Во втором случае, как правило, решается плоходетерминированная обратная задача, и при ее решении требуется обеспечить:

• постоянный рост уровня взаимопонимания распределенных участников общения;

• анализ латентных (скрытых) флуктуаций данных, хаотических и квантованных эффектов. Анализ фактов обмена электронными сообщениями без оценки их содержимого («коннект-анализ») в контексте происходящих событий [1];

• устойчивую сходимость процессов согласования решений относительно целей и путей действий (конвергенцию).

Разграничение двух видов представления информации -баз данных и экспертной - можно проиллюстрировать с выделением двух подсистем поддержки решений (рис. 1).

При сетевой конвергентной групповой поддержке решений реализуется множество операций, таких как:

• идентификация проблемы;

• построение дерева целей;

• определение характеристик динамики и флуктуаций макроэкономической среды;

• определение инжиниринговых характеристик решения проблемы;

• построение плана или порядка действий с учетом возможных девиаций;

• создание системы управления мотивацией и нематериальными активами;

• обеспечение схемы контроля и др.

КОНВЕРГЕНТНАЯ:

Рис. 1. Две подсистемы поддержки принятия решений

Традиционный ситуационный анализ, реализуемый в рамках первой подсистемы, преимущественно включает следующие шаги: структуризация ситуации; накопление опыта; анализ повторений, оценка аналогов; экстраполяция, прогноз через решение прямой задачи.

В конвергентной подсистеме больше акцентируется внимание на выявлении структуры интересов; построении будущего; создании уникальной схемы ситуации; когнитивной оценке взаимовлияния факторов, обеспечении устойчивого решения обратной задачи. В конвергентной подсистеме используются такие сетевые функциональные инструментарии, как:

• групповые экспертные процедуры;

• построение пространства доверия;

• выявление латентной информации;

• программирование на естественном языке.

4. Устойчивость и целенаправленность экспертных процедур

При реализации системы поддержки принятия решений в сетях могут быть реализованы следующие виды групповых экспертных процедур:

• получение комментариев экспертов;

• опрос со шкальными оценками;

• экспертный мониторинг ситуации;

• сетевой мозговой штурм;

• сетевое совещание, сетевой экспертный конгресс;

• самоорганизация экспертного сообщества.

Эксперты имеют свои мысли, мнения, цели и ресурсы. Изначально интересы экспертов не направлены в одну сторону. И каждого участника, скорее всего, не устраивает принятие решения «большинством голосов».

Каждый из участников за короткое время должен принять определенное решение для себя относительно своих целей действий. Оно может совпадать с общим решением. Бывает же так, что ему придется с общим решением согласиться, возможно, обрекая себя на длительные мучения неудовлетворенности. Однако, неудовлетворенность - враг желанию работать, потеря смысла деятельности любой организации.

Чтобы за время проведения экспертной процедуры согласованно сформулировать цели и пути решения проблемы, нужна специальная регламентация действий участников, правильная структуризация информации. Все сообщения должны быть регламентированы простым и понятным способом. Опыт проведения стратегических совещаний в ситуационных центрах показывает, что участники могут в дескриптивном стиле отвечать на множество наводящих вопросов модератора. Ответы (сообщения) могут быть краткими - до 5-7 слов (наименование целей, причин, факторов и пр.).

Обратные задачи отвечают на вопрос: «Что надо сделать, чтобы ...?». Они некорректны - могут не иметь решения, решений может быть много, а незначительные изменения исходных условий или поступление новой информации могут привести к 764

существенному изменению результата решения. Именно обратные задачи предопределяют стратегический стиль мышления (рис. 2).

Стратегическая цель

Рис. 2. Стратегический стиль мышления (решение обратной задачи)

Для повышения устойчивости решения стратегических задач могут быть даны простые рекомендации, вытекающие из методов решения обратных задач на топологических пространствах:

• отдели друг от друга цели, средства и действия;

• в целях стоит выделить: главную, внешние и внутренние;

• множество средств достижения целей раздели на конечное число частей;

• выдели и оцени взаимовлияния непересекающихся факторов;

• не упускай нюансов и др.

Это необходимые условия для обеспечения целенаправленности группового решения проблем и задач. Для обеспечения

устойчивости сетевого экспертного процесса, характеризуемого хаотическими и квантованными особенностями, этот список может быть продолжен [6].

5. Квантовая семантика

При сетевом обмене сообщениями, когда участники принятия решения территориально распределены, затруднено проявление кумулятивных эффектов, достижение синергии, и, как следствие - усложнено порождение гипотез и идей. Два человека хорошо понимают друг друга, если давно вместе работают. Если же эксперты не знакомы, то у произносимых ими одних и тех же слов могут быть различные значения. И долгие объяснения путем передачи сообщений не всегда помогают.

Какое-то время для раскрытия семантических аспектов текстов помогали лингвистические подходы. Однако для достижения взаимопонимания распределенных экспертов в ограниченное время этого может оказаться недостаточно. Для ускорения проведения совещаний используются процедуры модерации, построение которых опирается на теорию управляемого хаоса [6, 4]. Однако у таких закономерностей есть свои пределы. Так, текущее хаотическое состояние некоторой системы находится в достаточно слабой зависимости от предыдущих состояний.

В то же время, бывают ситуации, когда явления (идеи, мысли, эмоции и пр.) возникают как бы «ниоткуда», беспричинно, порождаются без учета истории развития событий. Именно такой взгляд может помочь при «моделировании» неуловимых: смысла, интуиции, идей, интенций. Этот взгляд может быть интерпретирован методами квантовой семантики.

Идея квантовой семантики следует из физики: электрон можно рассматривать одновременно как частицу и волну [9]. Волна как бы «сообщает» электрону о его окружении. Волна бесконечна и целостно учитывает все окружающее электрон пространство. «Электронное знание» объясняется с помощью волновой функции, выводы могут делаться не только из явных событий, но и из того, что не случается.

Если, по аналогии, слова представить в виде квантующихся явлений, состоящих из наблюдаемых «частиц» и невидимых «волн», тогда за каждым словом будут предполагаться теневые объекты, «теневые» слова, латентные значения слов («2-текст). Для этого слово, как знак, должно быть детерминировано, выявлена его внешняя граница. Достаточно для начала представить, что у каждого слова всегда есть дополнение в виде всего оставшегося мира. В этом бесконечном дополнении можно последовательно фиксировать позиции, которые могли бы принадлежать этому слову. При этом будут формироваться множества объектов, мыслей, явлений и их носителей. Квантовый принцип заставляет выходить из замкнутого круга релевантной контекстной лексики.

В квантовой семантике знаки, символы, слова рассматриваются в различных когнитивных конструкциях как собственные состояния, вектора и переменные в квантовых построениях. Под собственными состояниями понимается множество собственных векторов и значений, получаемых в результате решения уравнения Шредингера. Доказательство и вывод в квантовой семантике рассматриваются как порождения значения знаков, являющихся собственными состояниями квантовых операторов. При этом квантовый оператор - это «заменитель», интерпретатор процесса измерения, наблюдения исследуемого явления, состояния.

В качестве квантовых могут использоваться операторы, построенные на: степенях матрицы Адамара, принципах преобразования Фурье, на подходах решения некорректных задач в топологических пространствах и др. Процесс «осмысления» в механизмах квантовой семантики интерпретируется целостным запутыванием (entanglement) вербальных описаний и визуальных представлений таких явлений, как: личностные характеристики, социум, мораль, мысли, чувства, трансцендентальные состояния ума.

При взаимодействии с внешним окружением возникают явления декогерентности. Это процесс потери когерентности квантовых состояний в результате взаимодействия системы с окружающей средой. Декогеренция квантовой системы сопро-

вождается появлением у нее классических черт, соответствующих информации, записанной в окружении.

Инструментарий квантовой семантики проиллюстрирован на рис. 3. Он включает три уровня: когнитивный, генетический и, собственно, квантовый. На первом уровне формируется когнитивная модель проблемной ситуации [5, 6]; на втором - оптимизируется подбор управляющих факторов, обеспечивающих достижение целей [5]; на третьем - синтезируются оригинальные идеи, которые не всегда могут совпадать с мнением большинства участников принятия решений (экспертов) [11].

ПРОБЛЕМА

Уровень I : Когнитивный

КОГНИТИВНАЯ

МОДЕЛЬ

Сценарии

ТЄ!//»Т

О-ТЕКСТ

Суперпо-

зиция

Функция

качества

Уровень II : Генетический

1 Селекция 1 [Скрещивание 1 Мутация!

1 1 * 1

I

КВАНТОВЫЕ ВЫЧИСЛЕНИЯ

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.

ИДЕИ

Л

Запутывание

Интерференция

Уровень III: Квантовый

Рис. 3. Инструментарий квантовой семантики

Таким образом, при реализации сетевых экспертных процедур поддержки решений встает задача, которая сформулирована в классическом русле, но не может быть классическими методами решена, в частности, из-за проблемы размерности и парадоксальности природы смысла. Из такой, собственно, ситуации вырос и квантовый подход к анализу явлений природы, когда обычные рисунки не могли дать объяснения. Их надо было расширить, посмотреть на них нестандартно, выявить законы поведения и не «зацикливаться» на самих объектах.

768

6. Практическое моделирование

Приведем пример сетевого экспертного моделирования развития экономики в кризисный период на основе конвергентного подхода [7]. Для построения модели:

• разработана методика сетевого стратегического совещания с привлечением распределенных экспертов;

• сформирована группа экспертов;

• выбран компьютерный инструментарий для когнитивного и генетического моделирования [5];

• сформулированы и разосланы экспертам запросы для выявления факторов описания проблемы;

• собраны и проанализированы ответы экспертов;

• проведено совещание в ситуационном центре, в результате которого:

- выбран целевой фактор;

- выявлено 13 факторов описания проблемы;

- построена и введена в компьютер когнитивная модель;

- намечены возможные сценарии развития ситуации, определяемые воздействием на те или иные факторы (управляющие факторы);

- проведена сравнительная оценка сценариев развития ситуации в результате управляющих воздействий.

К факторам развития ситуации отнесены [3, 7]:

1. Качество жизни (фактор 1), который можно охарактеризовать как внутреннюю удовлетворенность граждан условиями жизни при постоянном снижении издержек производства (целевой фактор);

2. Спрос на труд, и, как следствие, объема занятости (фактор 2);

3. Развитие институтов и инструментов государственного и корпоративного менеджмента (фактор 3);

4. Нематериальные активы (фактор 4);

5. Склонность к потреблению (фактор 5);

6. Уровень развития техники и технологий (фактор 6);

7. Добыча и запасы природных ресурсов (фактор 7);

8. Объем материальных активов, продукт (фактор 8);

9. Финансовые обязательства (фактор 9);

10. Денежная масса (фактор 10);

11. Ожидаемые расходы общества на новые инвестиции, склонность к инвестициям (фактор 11);

12. Развитие сетевых институтов и инструментов информационного общества (фактор 12).

Возможно проявление нового фактора (№13), который сохранял бы инвариантность относительно неустойчивых явлений в макроэкономической среде. Этот фактор введен в модель условно под названием «Новый инвариантный критерий».

Когнитивная модель представлена в виде графа взаимовлияния факторов, в котором узлы отражают факторы, ребра -взаимовлияния факторов, значения на ребрах - величину их взаимовлияния. Принятие решения в модели интерпретируется заданием изменений значений управляющих факторов. Такое изменение «по цепочкам» передается другим факторам с указанной задержкой по времени; в каждом факторе изменения суммируются.

Компьютерный инструментарий когнитивного моделирования позволил участникам совещания быстро оценить варианты изменения значений целевых факторов при воздействии на управляющие факторы (сценарии). Критерием предпочтительности сценария является достигнутое значение целевого фактора (в нашем случае - фактор 1). Инструментарий помог проследить динамику изменения факторов, быстро оценить различные сценарии действий. Рассмотрены следующие сценарии:

• в экономической политике ничего не менять (саморазвитие);

• ускорить развитие института управления нематериальными активами;

• усилить развитие техники и технологий с приоритетом наукоемкому малому бизнесу;

• исключительный приоритет отдать добыче природных ресурсов, сырьевой экономике;

• исследовать и внедрять новые экономические подходы, инструменты для оценки макроэкономической ситуации.

В результате проведения стратегического совещания сценарии скомбинированы и расположены по убыванию приоритета следующим образом:

• развитие техники и технологий, совершенствование управления нематериальными активами;

• поиск и внедрение новых экономических подходов, оценочных инструментов.

• приоритет сырьевой экономике, сложившимся тенденциям развития событий.

7. Заключение

Для существенного повышения качества стратегического управления и принятия решений целесообразно учитывать следующие особенности развития ситуации:

• необходимым атрибутом поддержки управленческих решений все больше становится растущий потенциал сетевых экспертных и профессиональных сообществ;

• оценку нематериальных факторов в управлении и принятии решений можно эффективно осуществлять с подключением когнитивного моделирования;

• трафики электронных сообщений раскрывают латентную (неявную) информацию о синергии знаний и действий сетевых компаний и организаций;

• эмуляция алгоритмов квантовой семантики ускоряет достижение взаимопонимания участников принятия решений;

• для поддержки сетевых решений целесообразно использовать методологию конвергентного управления, создающую необходимые условия для сходимости процессов достижения согласия участников относительно целей и путей действий.

Конвергентный подход показал эффективность в реальной практике при построении стратегий: развития российского рын-

ка информационных технологий, повышения качества высшего

и профессионального образования, здравоохранения, социальной защиты населения, молодежной политики, арендной политики, регулирования рынка труда и многого другого.

Литература

1. БУГАЕВ АС., ЛОГИНОВ Е.Л., РАЙКОВ АН., САРАЕВ В.Н. Латентный синтез решений // Экономические стратегии. - 2007. - №1. - С. 52-60.

2. БУРКОВ В.Н. КОРГИН Н А., НОВИКОВ Д А. Введение в теорию управления организационными системами: Учебник под ред. Д.А.Новикова. - М.: Книжный дом «ЛИБРОКОМ», 2009. - 264 с.

3. КЕЙНС Д.М. Общая теория занятости, процента и денег. Избраннее. - М.: Эксмо, 2007. - 960 с.

4. ПАЙТГЕН Х.О., РИХТЕР П.Х. Красота фракталов. Образы комплексных динамических систем: Пер. с англ. - М.: Мир, 1993. - 176 с.

5. РАЙКОВ А.Н. Интеллектуальные информационные технологии. Учебное пособие. - М.: МИРЭА, 2000. - 96 с.

6. РАЙКОВ А.Н. Конвергентное управление и поддержка решений. - М.: Издательство ИКАР, 2009. - 245 с.

7. РАЙКОВ А.Н. Протуберанцы макроэкономики // Экономические стратегии. - 2009. - №7. - С. 42-49.

8. РАЙКОВ А.Н. Российская «экспертократия» // Экономические стратегии. - 2009. - №3. - P. 128-133.

9. HAWKING S., MLODINOV L.A. Briefer History of Time. - A Bantam Book. US, 2005.

10. HOLLENDER J., BREEN B. The responsibility Revolution. How the Next Generation of Businesses Will Win. - San Francisco: Jossey-Basss. A Wiley Imprint, 2010.

11. LITVINTSEVA L.V., ULYANOV S.V., ULYANOV S.S., Quantum fuzzy inference for knowledge base design in robust intelligent controllers // J. of Computer and Systems Sciences Intern. - 2007. - Vol. 46, №6. P. 908-961.

DISTRIBUTED EXPERT EVALUATION FOR DECISION SUPPORT

Alexander Raikov, Institute of Control Sciences of RAS, Moscow, Doctor of Science, professor (Moscow, Profsoyuznaya st., бЗ, (49З) 334-lS-00, [email protected]).

Abstract; Capabilities of expert-analytic and situation centers, distributed expert assessment routines, methods of implicit (or latent) information disclosure are combined on the basis of methodology of convergent management to provide higher quality of management decision making. Methodology of convergent management provides sufficient structural conditions for convergence of consensus achievement processes in a distributed expert community discussing aims and operative directions. The approach has a number of convincing applications.

Keywords: quantum semantics, cognitive modeling, convergence, latent information, intangible assets, inverse problem, decision support, network-mediated consent, distributed expert assessment, strategic management, situation center, thermodynamics, robustness.

Статья представлена к публикации членом редакционной коллегии Д. А. Новиковым

i Надоели баннеры? Вы всегда можете отключить рекламу.