CC BY
115
Экспертно-аналитические технологии оценки инновационных проектов: компаративный анализ
THINK TANK EVALUATION TECHNOLOGY INNOVATION PROJECT:
COMPARATIVE ANALYSIS
Милых Федор Георгиевич доктор экономических наук
Сбоев Борис Константинович, Институт Мировой экономики и информатизации e-mail of the author [email protected]
Аннотация: В данной работе на примере сравнения двух используемых в экспертных системах Expert Decide и Expert Solution 1.0 алгоритмов рассматривается эффективность применения методов аналитических иерархий и аналитических сетей для сравнительной оценки инновационных проектов. В работе содержится указание на общие для обеих рассматриваемых экспертных систем черты, а также делается сравнительный анализ особенностей применяемых алгоритмов.
На примере оценки рисков проектов промышленного предприятия по модернизации производственного процесса в виде трехуровневой когнитивной иерархической модели сравниваются две вышеуказанные экспертные системы. Помимо вывода об идентичности информационных моделей, полученных в этих системах, также рассматривается возможности их визуализации.
В работе указывается на дополнительные возможности риск-анализа проектов в экспертной системе Expert Solution 1.0.
Abstract: In this paper, by comparing the two used in expert systems has Expert Decide and Expert Solution 1.0, the efficiency of algorithms for application of the analytic hierarchy and analytic network for comparative assessment tion of innovative projects. This paper provides guidance on the common to both the considered expert system features, and is comparative analysis of the features of the algorithms. On the example of risk assessment projects for industrial enterprises modernizing the production process in the form of a three-level hierarchical model of cognitive comparing two aforementioned expert systems. In addition to displaying information about the identity of models obtained in these systems, also is considered the possibility of
visualization.
The paper points to the possibility of additional risk analysis of projects in the expert system Expert Solution 1.0.
Ключевые слова: метод аналитических иерархий, метод аналитических сетей, система поддержки принятия решений Expert Decide, экспертно-аналитическая система Expert Solution 1.0, алгоритмы метода анализа иерархий, блочная суперматрица, когнитивная трехуровневая иерархическая модель, риск-анализ, векторы приоритета, обратная иерархическая модель, глобальный вектор риска альтернативных проектов, глобальный вектор факторов риска.
Keywords: method of analytic hierarchy method of analytic network, a system of support of decision-making Expert Decide, Think Tank System Expert Solution 1.0, algorithms analytic hierarchy, block supermatrix, cognitive-tion three-level hierarchical model, risk analysis, the priority vectors, back-tion hierarchical model, the risk of a global vector of alternative projects, the global vector of risk factors.
В нашей предыдущей публикации [1], посвященной методологическим аспектам сравнительной оценки инновационных проектов, отмечалось, что принятие решения, как правило, проводится в условиях неопределенности исходной информации, поскольку выбор того или иного проекта требует учета не только количественных, но и качественных факторов их оценки, включая экологические, социальные, политические и даже коррупционные. И поскольку эта задача относится к классу слабоструктурированных проблем, для ее решения необходимо применять методы экспертных оценок [2, 3]. В отличие от точных методов принятия решений в условиях определенности, например, методов исследования операций, основанных на различных разделов математики, экспертные оценки основаны на комплексе логических и математикостатистических методов и процедур, направленных на получение от специалистов информации, необходимой для подготовки и выбора рациональных решений в ситуации, когда выбор, обоснование и оценка последствий решений не могут быть выполнены на основе точных расчетов.
Общепризнано, что надежность экспертных оценок определяется, в первую очередь, подбором специалистов-экспертов, их информированностью в изучаемых про-
блемах. Немаловажными также являются как формализация процесса получения экспертных знаний, так и возможность математико-статистической обработки полученной от экспертов информации. Представляется, что этим требованиям в наиболее полной мере отвечают метод аналитических иерархий (МАИ) и его развитие - метод аналитических сетей (МАС), разработанные американским математиком Т. Саати в последней трети 20 века [4, 5]. Здесь важно следующее положение метода анализа иерархий: качественные сравнения экспертами парной значимости элементов иерархических моделей (субъективные суждения) могут быть преобразованы в количественные соотношения между ними, при этом они будут отражать объективную реальность. Важно также, что метод аналитических сетей может быть использован в тех случаях, когда необходимо учитывать взаимосвязи элементов моделей.
Эффективность применения методов аналитических иерархий и аналитических сетей во многом определяется поддержкой их алгоритмов программными средствами, обладающими удобным пользовательским интерфейсом. К таким средствам относятся система поддержки принятия решений Expert Decide [6], реализующая метод анализа иерархий, а также экспертно-аналитическая система Expert Solution 1.0 [7], поддерживающего как алгоритмы МАИ, так и алгоритмы МАС (ее первая версия разработана на кафедре математических методов в экономике Российского экономического университета имени Г.В. Плеханова).
В [7] приведена информация также о других экспертных системах, среди которых выделяется система «Император», разработанная специалистами ЗАО «Нейросплав» [8], а также программа «MPRIORITY» [9]. В первой из них метод анализа иерархий был несколько модифицирован, при этом были использованы ключевые понятия, заимствованные из теории графов. Особо отмечается, что разработчиками программы «MPRIORITY 1.0» (MY PRIORITY) значительное внимание уделено разработке диалогового интерфейса, используемого при принятии решений - средствам постановки задачи принятия решения, средствам визуализации (графики, таблицы, диаграммы), средствам корректировки исходной задачи принятия решения.
Данная публикация посвящена компаративному анализу двух экспертных систем, в ракурсе решения задачи оценки инновационных проектов - системы поддержки принятия решений Expert Decide и экспертно-аналитической системы Expert Solution
1.0. Первая из них была апробирована нами на классическом примере задачи выбора варианта переправы через реку, постановка и решение которой описано Т. Саати в его работе [4], при этом в нашей публикации [10] отмечалось, что от использованного для принятия решения критерия «выгоды - издержки» необходимо переходить к критерию «выгоды - возможности - издержки - риски».
К обоснованию этого тезиса мы вернемся позднее, но вначале рассмотрим особенности используемых в экспертных системах Expert Decide и Expert Solution 1.0 алгоритмов.
Общее в обеих системах - то, что их основой являются алгоритмы метода анализа иерархий. И в системе поддержки принятия решений (СППР) Expert Decide, и в экспертно-аналитической системе (ЭАС) Expert Solution 1.0 базовой моделью принятия решения служит трехуровневая иерархия «цель (фокус)» - «критерии (факторы)» -«альтернативы», в которой элементы нижнего уровня (альтернативы) сравниваются друг с другом по каждому из включенных в анализ критерию. Требуется каждой альтернативе поставить в соответствие приоритет - число в интервале (0; 1). Эти числа являются результатом обработки матриц парных сравнений экспертом альтернатив по каждому из критериев, причем сравнения проводятся по лингвистической шкале отношений - от их одинаковой значимости до абсолютного превосходства одной альтернативы над другой. По такому же алгоритму сравнивается значимость критериев, после чего производится синтез локальных векторов приоритетов.
Это - модель прямой иерархии, которая обеспечивает достаточно детальное сравнение альтернатив, но не критериев, для детального сравнения которых необходимо строить обратную иерархию с альтернативами на среднем уровне и критериями
- на нижнем. Но если в системе поддержки принятия решений Expert Decide обратную иерархию создает пользователь, то в экспертно-аналитической системе Expert Solution
1.0 эта иерархическая модель создается в автоматическом режиме. Различаются и приемы построения иерархических моделей: в СППР Expert Decide иерархию строит пользователь в графическом режиме, а в ЭАС Expert Solution 1.0 пользователь задает перечень элементов трехуровневой иерархической модели, а ее построение производится автоматически.
В отвечающем сетевой модели методе аналитических сетей (МАС) основным
математическим конструктом является уже не множество матриц парных сравнений, а блочная суперматрица, основные блоки которой расположены на вспомогательной диагонали. Верхний правый блок образуют локальные векторы приоритетов альтернатив, нижний левый блок - локальные векторы приоритетов критериев. Первый блок образуют локальные векторы приоритетов альтернатив, это матрица прямой иерархии. Соответственно, второй блок образуют локальные векторы приоритетов критериев, это матрица обратной иерархии. Диагональные блоки суперматрицы образуют квадратные матрицы, отражающие взаимосвязи альтернатив (верхний левый блок) и критериев (нижний правый блок). Таким образом, размерность суперматрицы существенно превышает размерность матриц парных сравнений.
Продемонстрируем технологию принятия решения в сравниваемых экспертных системах на приведенном в работе [11] примере оценки рисков проектов промышленного предприятия по модернизации производственного процесса предполагает представление слабоструктурированной проблемы в виде когнитивной иерархической модели, содержащей следующие уровни:
- первый уровень (фокус) - оценка весов риска альтернативных инвестиционных проектов;
- второй уровень - виды рисков инвестиционных проектов (производственный, инвестиционно-финансовый, рыночный, финансовый, социальный, экологический и политический риски);
- третий уровень - направления инвестиций: переход на менее затратные технологии; замена изношенного оборудования; выпуск продукции, новой для предприятия; обучение кадров, которые можно рассматривать как альтернативные инвестиционные проекты.
Базовая концептуальная иерархическая модель, позволяющая в результате ее наполнения экспертными знаниями получить оценки относительных весов рисков направлений инвестиций, с одной стороны, и факторов (видов) рисков, с другой, построенная пользователем в программной среде экспертной системы Expert Decide, представлена на рис. 1.
РИСК-АНАЛИЗ
Рис. 1. Концептуальная иерархическая модель оценки рисков инвестиционных проектов по модернизации производственных процессов на предприятии
Отметим, что концептуальная иерархическая модель, представленная на рис. 1 -это существенное упрощение действительности. Так, в модель можно включить не три, а больше уровней, добавив в нее уровни акторов (действующих сил), целей акторов и их политик. Можно учесть не только влияние элементов нижних уровней на элементы верхних уровней, но и обратное влияние элементов верхних уровней на элементы нижних уровней, т.е. учесть обратную связь между уровнями иерархии. Тем не менее, эта модель дает возможность взглянуть на проблему «в целом», с тем, чтобы затем ее усложнить путем учета обратной связи между уровнями.
На следующем этапе риск-анализа группе экспертов было предложено выполнить парные сравнения значимости элементов на каждом уровне иерархии - вначале видов рисков, затем - альтернативных проектов для каждого вида рисков. При опросе экспертов в СППР Expert Decide имеется возможность визуализировать результаты расчета приоритетов элементов иерархии и, в случае необходимости, корректировать суждения о парной значимости сравниваемых видов рисков и альтернативных проектов. Результатом работы каждого эксперта является информационная модель, пример которой приведен на рис. 2.
ОЦЕНКА РИСКОВ ИНВЕСТИЦИОННЫХ ПРОЕКТОВ
Рис. 2. Информационная иерархическая модель риск-анализа проектов по модернизации производственных процессов на предприятии (копия экрана)
Ниже приведена матрица парных сравнений видов риска, а также одна из матриц парных сравнений направлений инвестиций.
Таблица 1
Сравнение элементов 2 уровня
ПРОИЗВ ИНВ. РЫНОЧ. ПОЛИТ. ФИН. ИНСТ.-ПРАВ. СОЦИАЛ.
ПРОИЗВ. 1,000 1,000 0,200 3,000 1,000 3,000 4,000
ИНВ.-ФИН. 1,000 1,000 0,143 3,000 1,000 2,000 1,000
РЫНОЧ. 5,000 7,000 1,000 8,000 1,000 7,000 5,000
ПОЛИТ. 0,333 0,333 0,125 1,000 0,250 1,000 0,250
ФИНАНС. 1,000 1,000 1,000 4,000 1,000 2,000 2,000
ИНСТ.-ПРАВ. 0,333 0,500 0,143 1,000 0,500 1,000 0,333
СОЦИАЛ. 0,250 1,000 0,200 4,000 0,500 3,000 1,000
Таблица 2
Производственный риск - сравнение элементов 3 уровня
ОБОРУД. ТЕХНОЛОГИИ ПРОДУКЦИЯ КАДРЫ
ОБОРУДОВАНИЕ 1,000 1,000 3,000 5,000
ТЕХНОЛОГИИ 1,000 1,000 2,000 5,000
ПРОДУКЦИЯ 0,333 0,500 1,000 5,000
КАДРЫ 0,200 0,200 0,200 1,000
Из рис. 2 следует, что, согласно мнению данного эксперта, наибольший приоритет придается рыночному риску (его относительный «вес» м=0,411), далее следуют: финансовый риск (^=0,165), производственный риск (^=0,147), инвестиционно-
финансовый (^=0,102) и социальный риск (^=0,091). Замыкает ранжированную линейку видов рисков политический риск, удельный вес которого по степени влияния на общую оценку рисков инвестиционных проектов по модернизации производственных процессов рассматриваемого предприятия промышленности ^=0,037; немногим больше вес институционально-правового риска ^=0,047.
На рис. 3 распределение приоритетов факторов риска представлено в графической форме.
ПРОИЗВОДСТВЕННЫЙ РИСК РЫНОЧНЫЙ РИСК ФИНАНСОВЫЙ РИСК СОЦИАЛЬНЫЙ РИСК
Рис. 3. Приоритеты факторов риска инвестиций в модернизацию производственных процессов на предприятии (диаграмма экспортирована из системы Expert Decide)
В СППР Expert Decide имеется возможность корректировать состав иерархических уровней без потери информации. Так, очевидно, что виды рисков, приоритеты которых существенно меньше среднего значения ^ср=1/7=0,143 - политический и институционально-правовой - можно исключить из дальнейшего анализа. Видно также, что приоритет рыночного риска более чем вдвое превосходит приоритеты финансового и производственного рисков, а последние, в свою очередь, заметно больше приоритетов инвестиционно-финансового и социального рисков. Исходя из этого, можно ожидать, что, в конечном счете, распределение весов риска направлений инвестиционных проектов по этим факторам будет определяющим.
После исключения из модели политического и институционально-правового рисков приоритеты остальных видов риска изменились, но их ранжирование по степени значимости сохранилось.
Итак, в результате наполнения приведенной на рис. 1 концептуальной экспертно-аналитической модели риск-анализа проектов модернизации действующего предприятия промышленности экспертными знаниями получены оценки рисков направлений инвестиций, с одной стороны, и приоритетов видов риска, с другой (табл. 3).
Таблица 3
Риски направлений инвестиций и приоритеты факторов риска инвестирования в модернизацию предприятия промышленности (модель прямой иерархии)
Направления инвестиций Факторы риска
Замена обору- дования Переход на новые технологии Выпуск новой продук- ции Обуче- ние кадров Произ- во- дствен ный Инве- стици- онно- финан- совый Ры- ночный Финан- совый Соци- альный
0,316 0,225 0,408 0,051 0,155 0,109 0,467 0,195 0,075
В ЭАС Expert Solution 1.0 создание концептуальной модели и ее наполнение экспертными знаниями проводится одновременно. Последовательность действий при этом такова: вначале формулируется цель исследования и перечень сравниваемых альтернатив и критериев сравнения. Затем эксперту предъявляется матрица парных сравнений критериев, заполненная единицами, что отвечает их равной значимости, и эксперт на выплывающей шкале сравнений выбирает суждение о фактическом соотношении значимости критериев. И здесь, как и в СППР Expert Decide, имеется возможность просмотра вектора приоритетов, причем как в цвете, так и в штриховом варианте, предназначенном для монохромной печати.
Пример визуализации векторов приоритетов в штриховом варианте представлен на рис. 4.
а б
Вектор приоритетов критериев Атах = 7,561; ИС = 0,093; ОС = 0,071
0,411 Ш И 0,147 Производственный риск ^ 0,102 Инвестиционный риск ВЭ 0,411 Рыночный риск И 0,037 Политический риск И 0,165 Финансовый риск В 0,047 Институционально-правовой риск В 0,091 Социальный риск
ш
0,103 0,000 ж ш
ни
ж; ж тшІИІ
Критерии
Вектор приоритетов альтернатив. Прямая иерархия
И 0,317 Замена оборудования ^ 0,239 Пврвход на новы в технологии ^ 0,392 Выпуск новой продукции Е-1 0,052 Обучение кадров
Рис. 4. Диаграммы векторов приоритетов, полученные в экспертной системе Expert Solution 1.0: а - факторов риска; б - альтернативных проектов
Нетрудно убедиться в полной идентичности векторов приоритетов, полученных в экспертных системах Expert Decide и Expert Solution 1.0.
Идентичными являются и информационные модели, полученных в этих системах, но их визуализация несколько отличается: если в СППР Expert Decide приоритеты элементов иерархии отображаются в виде чисел в прямоугольниках иерархии, построенной пользователем (рис. 2), то в ЭАС Expert Solution 1.0 аналогичная информационная модель создается средствами программы в автоматическом режиме - рис. 5. При этом в обеих экспертных системах предусмотрена возможность визуализации результатов синтеза локальных векторов приоритетов, как созданных по суждениям каждого эксперта, так и созданных в результате усреднения суждений группы экспертов установленного пользователем состава.
Рис. 5. Информационная модель риск-анализа альтернативных проектов, сгенерированная системой Expert Solution 1.0
Рассмотрим теперь дополнительные возможности риск-анализа проектов в экспертной системе Expert Solution 1.0.
Необходимость реализации обратной иерархической модели определяется несимметричностью надежности информационной модели, полученной на предыдущем этапе риск-анализа: если глобальный вектор приоритетов уровня риска альтернативных проектов является результатом взвешивания локальных вектор приоритетов с учетом весов соответствующих видов рисков, и, соответственно, определен достаточно надежно, то вектор весов видов рисков определен менее надежно. Достаточно очевидно, однако, что соотношение значимости видов риска для различных проектов может отличаться: для одних проектов, например, могут быть более значимыми политические риски, для других - производственные, и т.д. Поэтому, наряду с прямой иерархической моделью риск-анализа, следует рассматривать обратную иерархическую модель, у которой на нижнем уровне - виды риска, а на среднем - альтернативные про-
екты. Соответственно, меняется и цель иерархии, теперь она формулируется как оценки приоритетов видов риска.
Конечно, такую иерархическую модель можно создать и в СППР Expert Decide, но в ЭАС Expert Solution 1.0 она создается в автоматическом режиме, без участия организатора экспертизы.
Как видно из рис. 6, концептуальная модель обратной иерархии отличается от концептуальной модели прямой иерархии только расположением уровней критериев и альтернатив, приоритеты же по умолчанию по-прежнему остаются равными 0,250 для альтернатив и 0,200 для видов риска.
Рис. 6. Концептуальная модель обратной иерархии, сгенерированная системой Expert Solution 1.0
На следующем этапе эксперту предлагается заполнить матрицы парных сравнений - одну для альтернатив размером 4x4, четыре - для факторов риска размером 5x5. Опуская промежуточные операции, приведем полученную в результате обработки суждений одного из экспертов информационную модель обратной иерархии - рис.
7.
Рис. 7. Информационная модель обратной иерархии, полученная в системе Expert Solution 1.0 в результате опроса одного из экспертов
Видно, что если вектор приоритетов рисков альтернативных проектов изменился весьма заметно, то глобальный вектор факторов риска почти не изменился. В данном случае это вызвано тем, что эксперт почти не изменил суждения относительно парной значимости факторов риска, высказанные им на этапе анализа прямой иерархической модели.
Еще одна возможность, предоставляемая экспертной системой Expert Solution
1.0 - реализация сетевой модели, позволяющей учесть обратную связь между компонентами иерархии. В участии эксперта при этом нет необходимости - система генерирует основной математический конструкт метода аналитических сетей - блочную суперматрицу - автоматически.
В рассматриваемом случае суперматрица имеет вид, изображенный в табл. 4: верхний правый блок размером 4x5 представляет собой матрицу, столбцами которой являются пять локальных векторов приоритетов риска альтернативных проектов, нижний левый блок размером 5x4 - матрицу, столбцами которой являются четыре локальных вектора приоритетов риска альтернативных проектов, а на главной диагонали суперматрицы - две нулевые матрицы, одна четвертого, другая - пятого порядка. Верхняя левая нулевая матрица отражает отсутствие взаимосвязи альтернативных проектов, нижняя правая - отсутствие взаимосвязи факторов риска.
Таблица 4
Суперматрица сетевой модели риск-анализа
0,000 0,000 0,000 0,000 0,394 0,244 0,261 0,220 0,401
0,000 0,000 0,000 0,000 0,356 0,225 0,186 0,220 0,142
0,000 0,000 0,000 0,000 0,191 0,470 0,510 0,502 0,401
0,000 0,000 0,000 0,000 0,060 0,060 0,043 0,058 0,057
0,149 0,201 0,152 0,159 0,000 0,000 0,000 0,000 0,000
0,107 0,206 0,119 0,247 0,000 0,000 0,000 0,000 0,000
0,481 0,292 0,433 0,198 0,000 0,000 0,000 0,000 0,000
0,194 0,241 0,236 0,198 0,000 0,000 0,000 0,000 0,000
0,069 0,060 0,060 0,198 0,000 0,000 0,000 0,000 0,000
Система Expert Solution 1.0 в автоматическом режиме генерирует результаты моделирования - глобальный вектор риска альтернативных проектов и глобальный вектор факторов риска - рис. 8.
а б
Рис. 7. Диаграммы глобальных векторов приоритетов, полученные в результате реализации сетевой модели в системе Expert Solution 1.0: а - альтернативных проектов;
б - факторов риска
Видно, что глобальный вектор риска альтернативных проектов, полученный в результате реализации сетевой модели, близок к глобальному вектору риска альтернативных проектов, полученному в модели прямой иерархии, а глобальный вектор факторов риска, полученный в сетевой модели, - глобальному вектору факторов риска в модели обратной иерархии.
Таким образом, выполненные исследования показали, что для сравнительной оценки инновационных проектов в условиях неопределенности исходной информации в рамках метода анализа иерархий в равной мере может быть использованы как СППР Expert Decide, основное назначение которой - применение в учебных целях, так и ЭАС Expert Solution 1.0, предназначенная для сравнительной оценки альтернативных инновационных проектов. Обе системы позволяют проводить опрос группы экспертов в интерактивном режиме с возможностью контроля результатов первичной обработки их суждений о значимости элементов иерархических уровней - видов риска и альтернативных проектов, а также формирования групповых оценок приоритетов элементов иерархической модели. Однако, по сравнению с СППР Expert Decide, ЭАС Expert Solution 1.0 предоставляет пользователю большие возможности.
Литература
1. Сбоев Б.К. К вопросу об оценке инновационных проектов в условиях неопределенности информации // // Наука и бизнес, № 10, 2012 г.
2. Шуметов В.Г., Милых Ф.Г. Информационно-аналитическое и прогнозное обеспечение управления инновационными экономическими процессами: методологический аспект // Управление инновационно-инвестиционными процессами на основе вовлечения в хозяйственный оборот интеллектуальной собственности и качеством подготовки специалистов в регионах России. Материалы Междунар. н.-практ. конф.
Ч.1. Орел: ОрелГТУ, 2002.
3. Шуметов В.Г., Секерин А.Б., Гудов В.А. Инновационный менеджмент на основе экспертных знаний / Под ред. проф. В.Г. Шуметова. Орел: ОРАГС, 2003.
4. Саати Т. Принятие решений. Метод анализа иерархий. М.: Радио и связь,
1993.
5. Саати Т. Принятие решений при зависимостях и обратных связях: Аналитические сети. Пер. с англ. / Науч. ред. А.В. Андрейчиков, О.Н. Андрейчикова. М.: Издательство ЛКИ, 2008.
6. Кузнецов А.И. Expert Decide для Windows 95, Windows 98 и Windows NT. Версия 2.0. Руководство пользователя / Под ред. В.Г. Шуметова. Орел: ОРАГС, 2000.
7. Покровский А.М. Алгоритмы, функции и пользовательский интерфейс экспертно-аналитической системы Expert Solution // Вестник РЭА. 2011. №6(42).
8. Технологии принятия решений: метод анализа иерархий. Электронный ресурс. Режим доступа: http://citforum.ru/consulting/BI/resolution/.
9. Абакаров А.Ш., Сушков Ю.А. Программная система поддержки принятия рациональных решений “MPRIORITY 1.0” // Электронный научный жур-
нал "Исследовано в России". 2005. С.2130-2146.
10. Сбоев Б.К. Методология оценки инновационных проектов в условиях риска и неопределенности . Электронный ресурс. Режим доступа: http://sovman.ru/ru/allnumbers/ archive-2012/september2012/item/96-01-21-12.html.
11. Батин Б.А. Иерархия экспертно-аналитических моделей оценки риска инвестиционных проектов промышленного предприятия // Вестник НИИРПО. Серия «Экономика и управление». Вып.1. М.: Изд-во НИИРПО, 2008.
