CC BY
119
ЭКОНОМИКА И ОРГАНИЗАЦИЯ ПРОИЗВОДСТВА
УДК 65.01 (075.8)
В. И. Волков
МЕТОДИКА ЭКСПЕРТНОЙ ОЦЕНКИ ПРОЕКТОВ ИННОВАЦИОННОЙ НАПРАВЛЕННОСТИ
Рассмотрены вопросы формирования системы критериев оценки инновационных проектов и основные положения методики многокритериальной экспертной оценки таких проектов, базирующейся на совместном использовании методов Дельфи, анализа иерархий и теории важности критериев.
Ключевое значение для обеспечения устойчивого экономического роста и решения социальных проблем имеет повышение конкурентоспособности отечественной продукции. В настоящее время многие виды российской продукции и услуг, к сожалению, не конкурентоспособны не только на мировом рынке, но и на внутреннем рынке, на котором доминируют зарубежные страны (станки и оборудование, электроника, автомобильная техника, ряд другой продукции).
Важный фактор конкурентоспособности — инновационно-технологический уровень продукции, определяющий ее новизну. Однако, при выборе инвестиционных проектов (ИП) для финансирования (в том числе инновационной направленности) сегодня как на государственном уровне, так и в предпринимательской среде предпочтение отдается проектам с наибольшей экономической эффективностью и с наименьшим риском их реализации. В этой ситуации, значительная часть ИП воспроизводит устаревший технологический уровень. Оценка технологического уровня проектов в большинстве бизнес-планов отсутствует. Представляется, что на федеральном и региональном уровнях должны быть пересмотрены критерии отбора проектов и, вместо финансово-экономической экспертизы, должна проводиться комплексная экспертиза, базирующаяся на сочетании в едином многопрофильном комплексе оценок различных видов.
В основе предлагаемой методики лежит формирование системы критериев и показателей оценки ИП инновационной направленности, сгруппированных в отдельные блоки по их функциональному назначению.
Первый критериальный блок — обобщенный критерий научно-технической значимости (качества) продукции, создаваемой в процессе реализации проекта, связан с ее новизной, патентоспособностью основных технических решений и качественными результатами ИП. По существу, он определяет научно-технический уровень предлагаемых разработок, их весомость (значимость) и преимущества продукции по сравнению с лучшими отечественными и зарубежными образцами-аналогами. Действительно, чтобы иметь коммерческий успех на внутреннем и, в особенности, на внешнем рынках предлагаемая к производству продукция должна быть либо принципиально новой, либо более качественной, имеющей преимущества по ряду технических и эксплуатационных характеристик перед существующей продукцией.
Второй критериальный блок составляют показатели экономической эффективности, которые должны основываться на оценках экономической эффективности, отвечающей требованиям рекомендаций [1]. При этом в качестве интегральных характеристик экономической эффективности могут выступать такие показатели как ЧДД, ВНД и ИД (раздельно или в совокупности).
В третий критериальный блок целесообразно, по-видимому, объединить информацию о таких рыночных показателях, как потребительский спрос на продукцию в денежном или количественном выражении и экспортный потенциал, дополнив их соотношением цены и качества продукции (в сравнении с лучшими образцами-аналогами), определяющим конкурентоспособность продукции. Именно рынок "дает" окончательное заключение об эффективности предлагаемой продукции, поэтому обобщенный критерий конкурентоспособности продукции играет столь важную роль.
Вопросы экологии и безопасности производственных процессов и выпускаемой с их помощью продукции в настоящее время очень актуальны, причем имеет место ужесточение соответствующих требований в международных стандартах. Поэтому целесообразно выделить в отдельный (четвертый) блок и обобщенный критерий экологичности и безопасности продукции.
Наконец, данные, отражающие степень готовности научно-технической и производственной базы для организации производства и выпуска продукции по проекту, необходимость выполнения проекта отечественными исполнителями и дополнительные условия его реализации позволяют сделать обоснованное заключение о практической реализуемости предлагаемых работ. Их можно объединить в отдельный
(пятый) критериальный блок, а соответствующий обобщенный критерий назвать критерием реализуемости проекта.
Таким образом, весь объем исходных данных о проектах целесообразно сгруппировать по пяти критериальным блокам (табл. 1). Показатели ИП, носят как количественный, так и качественный характер. Для их совместной обработки воспользуемся экспертными методами многокритериального анализа [2]. В соответствии с процедурой важным этапом экспертизы является установление приоритетов (рангов) пяти обобщенных критериев и 26 подкритериев.
В теории принятия решений с помощью экспертов существует немало методов, моделей и алгоритмов выявления предпочтений на множестве производных альтернатив, использующих процедуры ранжирования и многокритериального выбора. В наиболее законченном виде теория многокритериальной оптимизации изложена в работах [3, 4]. Разнообразием отличаются также методы получения экспертной информации и определения результирующих экспертных оценок [5]. При этом о надежности (степени согласованности) оценок судят по таким характеристикам, как величина вариации и коэффициенты конкорда-ции и ранговой корреляции, которые описывают разброс оценок отдельных экспертов и экспертных групп.
В процессе выбора методов экспертного опроса остановимся на методе Дельфи, который обеспечивает, с одной стороны, анонимность процедуры, а с другой, — возможность пополнять информацию о предмете экспертизы. Он, в частности, успешно использовался при отборе критических технологий федерального уровня. В то же время применение метода Дельфи для подобных целей сопряжено с привлечением большого числа экспертов, необходимостью проведения нескольких туров экспертизы, громоздкостью обработки полученной информации и большими финансовыми затратами. Кроме того, часто наблюдается поляризация различных точек зрения, что объясняется присутствием среди экспертов представителей разных научных школ, специалистов различных областей знаний. Методики опросов в подобных случаях, как правило, не включают оценок значимости (весомости) критериев и показателей экспертами, а устанавливаются разработчиками анкет (опросных листов), что не исключает влияния субъективизма.
Технология, основанная на теории важности критериев [6], позволяет упорядочить получаемую информацию с помощью так называемых весовых коэффициентов. Если лицо, организующее экспертизу (ЛОЭ), испытывает трудности, то к ранжировке критериев привлека-
Критерии и показатели оценки ИП
Таблица 1
Критерии Подкритерии (показатели)
1. Научно-техническая значимость (качество) продукции, КНТЗ 1.1. Новизна; 1.2. Степень фундаментальности (использование результатов фундаментальных или поисковых исследований); 1.3. Преимущества (качество) продукции; 1.4. Патентоспособность основных технических решений; 1.5. Применяемость во многих отраслях промышленности; 1.6. Перспективность; 1.7. Вероятность технического успеха.
2. Экономическая эффективность проектов, КЭЭ 2.1. Отношение чистой прибыли за год к общему объему инвестиций; 2.2. Срок окупаемости проекта; 2.3. Чистая текущая дисконтированная прибыль проекта; 2.4. Индекс прибыльности; 2.5. Внутренняя норма прибыли.
3. Конкурентоспо-собность продукции КК 3.1. Размер потенциального (внутреннего и внешнего) рынка; 3.2 Наличие спроса на продукцию и потребители; 3.3. Возможности сбыта продукции; 3.4. Время выхода на заданный объем продаж; 3.5. Число конкурентов-производителей на рынке; 3.6. Соотношение цены и качества продукции в сравнении с лучшими образцами-аналогами.
4. Экологичность и безопасность продукта, Кэб 4.1. Возможное вредное воздействие продукции и процесса его создания; 4.2. Соответствие экологическим нормативам в части: а) предельно допустимых концентраций вредных веществ, загрязняющих воздух, воду и почву; б) предельно допустимых выбросов и предельно допустимых сбросов; в) предельно допустимого уровня внешней радиации; г) предельно допустимых уровней наружного шума; д) твердых и объемных отходов; е) предельно допустимых остаточных химических веществ в продуктах питания и т.п. 4.3. Степень опасности работ; 4.4 Затраты на обеспечение экологичности и повышение безопасности работ.
5. Реализуемость проекта, КРП 5.1. Доступность всех видов ресурсов; 5.2. Готовность к практической реализации; 5.3. Научные и технические возможности организации для выполнения проекта; 5.4. Наличие аттестованной системы управления качеством продукции
ются эксперты. При этом, можно назначить первоначальные "веса", а затем произвести их корректировку. Основу подхода составляет допущение о том, что вначале используются более простые и потому весьма надежные решающие правила, и лишь затем, при необходимости, привлекаются правила более сложные, но менее надежные.
В качестве базового вычислительного процесса многокритериальной экспертной оценки ИП в методике используется метод анализа иерархий (МАИ), позволяющий отразить различные критерии и множественность целей, интенсивность взаимодействия (взаимные "веса") элементов в иерархии [5, 7]. Основная идея метода анализа иерархий, заключающаяся в попарном сравнении анализируемых объектов (проектов, критериев и подкритериев), выгодно отличает его от метода Дельфи (в котором объекты рассматриваются не парами, а как бы все "одновременно"). Метод анализа иерархий хорошо согласуется с возможностями человека перерабатывать информацию, имеет достаточно обоснованную качественно-количественную шкалу сравнения значимости объектов и сводит решение задачи определения вектора приоритетов объектов к известной математической задаче нахождения собственных значений матрицы парных сравнений.
Оценки согласованности суждений экспертов в этом методе производят при помощи специального коэффициента, называемого отношением согласованности. Его применение дает возможность обеспечить [8] всестороннюю научную обоснованность принятия решений в задачах прикладного характера, используя значительное число качественных показателей.
На рис. 1 приведена трехуровневая иерархия структуры системы для случая оценки и выбора проектов при помощи четырех обобщенных критериев. Целью (верхний уровень иерархии) является выбор (или ранжирование) при помощи четырех обобщающих критериев К,..., К4 (второй уровень) наилучшего из трех альтернативных (или разных) проектов Щ, П2 и П3 (нижний уровень иерархии).
В общем случае мы имеем множество элементов С\,..., Сп некоторого уровня иерархии (где п — число сравниваемых элементов). Попытаемся определить веса Уг, ...,Уп их влияния на некоторый элемент следующего, более высокого уровня. Составим для этого матрицу парных сравнений А = [а^], в которой индексы % и ] определяют число ее строк и столбцов, а а^ — это число, соответствующее значимости элемента С в сравнении с С. Элементы а^ = И/У определим по следующим правилам:
1. Если а^ = а, то а^ = 1 /а, где а = 0;
2. Если результаты сравнения таковы, что С имеет одинаковую с С
Структура системы оценки и выбора инновационных проектов
относительную важность, то а^ = 1 и а^ = 1; в частности ац = 1 для всех г.
При выполнении условий 1 и 2 матрица А является обратно симметричной.
Если наши оценки безошибочны при всех сравнениях, то = а^ для всех г^,к и матрицу А назовем согласованной. Легко показать, что для проведения парных сравнений п объектов при условии, что каждый объект представлен в данных по крайней мере один раз, требуется (п — 1) суждений о парных сравнениях. Из них можно вывести все остальные суждения, используя следующее отношение: если объект Ах
в 3 раза превосходит объект А2 ив 6 раз превосходит А3, то Ах = 3А2 и Ах = 6А3. Тогда А2 = 2А3 и А3 = 1/2А2.
Если же численное значение суждения матрицы А отличается от 2, то матрица А будет несогласованной, что часто и случается на практике . Если диагональ матрицы А состоит из единиц и А — согласованная матрица, то при малых изменениях в а^ наибольшее собственное значение матрицы Атах остается близким к п, а остальные собственные значения — близкими к нулю. Как показано в работе [7], для нахождения вектора приоритетов (среди элементов С1,..., Сп) нужно найти вектор У, который удовлетворяет уравнению
АУ = АтахУ. (1)
Так как малые изменения а^ вызывают малое изменение Атах, то отклонение последнего от п можно принять в качестве меры согласованности и ввести соответствующий индекс согласованности (ИС)
ИС = (Атах - п)/(п - 1). (2)
Для оценок степени важности попарно сравниваемых элементов в работе [7] приведена шкала относительной важности от 1 до 9, отражающая соотношения между сравниваемыми элементами. Она представлена пятью определениями: равный, слабый, сильный, очень сильный и абсолютный. Точное вычисление вектора приоритетов среди элементов С1,..., Сп можно получить, решая задачу на компьютере. Более грубые оценки этого вектора можно получить с помощью способов рекомендованных в работе [7].
Применительно к оценке ИП (см. рисунок) элементы С соответствуют критериям Кх,..., Кп. Относительный ранг каждого проекта по каждому критерию вычисляют так же, как для элементов С. Для получения общей оценки каждого ИП необходимо умножить "вес" оценки этого проекта по некоторому критерию на значение этого критерия, а затем сложить значения, полученные для каждого проекта по всем критериям.
В результате вычислим общие оценки проектов Пх, П2 и П3 из соотношений:
ОПх = ахК! + а2К2 + а3К3 + а4К4;
ОП2 = ЬхКх + № + ЬзКз + (3)
ОПз = схКх + С2К2 + С3К3 + С4К4.
Таким образом, изложенный подход обобщается на большее число ИП и уровней в иерархии. В частности для случая % = 1,...,п критериев и V = 1,..., в подкритериев можно получить следующее выражение для оценки т-го проекта Пт:
П вг
Опш = Ь шv 5 (4)
¿=1 V=1
где Ь^ — веса подкритериев критерия г; Ьш — оценка (собственный вектор) т-го проекта по V-му подкритерию.
В случае достижения необходимой согласованности суждений экспертов по всем отмеченным приоритетам окончательная оценка ИП и их ранжирование осуществляются при помощи соотношений типа (4). Однако, достижение полной согласованности суждений экспертов относительно весомости критериев, подкритериев и проектов по причинам, свойственным всем экспертным методам, может потребовать проведения многочисленных туров экспертизы и обработки больших объемов информации, а значит, и больших затрат, что в итоге нивелирует казалось бы вполне очевидные преимущества МАИ перед методом Дельфи.
В связи с этим для эффективного решения проблемы многокритериальной экспертной оценки проектов представляется привлекательной идея построить некий симбиоз из рассмотренных методов, используя их сильные стороны и "опуская" основные недостатки. Прежде всего, в силу очевидных преимуществ, примем в качестве основного метод анализа иерархий, как в наибольшей степени формализованный для решения задач многокритериальной экспертной оценки проектов.
Оценка эффективности ИП включает две составные части: а) определение (установление) весов всех критериев и подкритериев и б) оценку вектора приоритетов каждого проекта по каждому из критериев (подкритериев). При решении конкретных задач приоритетность этих пяти обобщенных критериев и соответствующих подкритериев, фигурирующих в табл. 1, может меняться в зависимости от того, какие аспекты (технологические, экономические или экологические) будут иметь первостепенное значение для инвесторов. Поэтому решение задачи (а) не может быть получено иначе, как на основании информации, представляемой либо ЛПР (ЛОЭ), либо экспертами, которым он (ЛПР, ЛОЭ) доверяет. Если привлекаются эксперты, то, очевидно, при установлении весов обобщенных критериев должны использоваться высококомпетентные независимые специалисты, в их числе: представители разработчиков проектов, производители продукции, специалисты по маркетингу, владеющие наиболее полной информацией в данной предметной области.
Распределение же полученных "весов" пяти обобщенных критериев по подкритериям целесообразно поручить группам экспертов, специализирующихся в соответствующих (узких) областях: разработчикам и изготовителям продукции (критерий КНТЗ), экономистам (кри-
терий КЭЭ), специалистам по маркетингу (критерий КК), экологам и специалистам по безопасности (критерий КЭБ) и, наконец, ЛОЭ — в части готовности организации-заявителя выполнить проект (критерий КРП). При этом каждому эксперту предоставляется единообразной формы анкета, которую он должен заполнить. По сути, от каждого эксперта необходимо получить две таблицы. Первая из них (табл. 2) представляет собой ранги, назначенные, например, экспертами критериям (аналогичный вид имеют таблицы для подкритериев). Если эксперты, устанавливающие ранги обобщенным критериям, согласны с указанной в обосновании исходной ранжировкой, то они в отведенной им строке табл. 2 проставляют точно такие же цифры.
Таблица 2
Критерий Исходная ранжировка Ранги эксперта
КНТЗ 1
КЭЭ 2
КК 3
КЭБ 4
Кр 5
В противном случае они записывают в эту строку свои значения рангов и приводят краткое обоснование принятого решения. В отличие от обобщенных критериев для подкритериев исходные ранжировки не приводятся, так как ранги подкритериям устанавливают сами эксперты, приводя (письменно) те или иные доводы.
Следующая таблица (табл. 3), которую необходимо получить от экспертов заполненной, содержит информацию о сравнительной важности критериев и подкритериев при их парном сравнении.
Таблица 3
Критерии КНТЗ КЭЭ КК КЭБ КР
КНТЗ 1
КЭЭ 1
КК 1
КЭБ 1
Кр 1
По главной диагонали в этой таблице стоят единицы, а остальные клетки можно рекомендовать экспертам заполнить, пользуясь упомянутой нами шкалой относительной важности [7] (шкалой Саати).
Заполнение таблиц позволит найти весовые коэффициенты критериев и подкритериев, необходимые для расчетов приоритетности ИП по формуле (4). При заполнении этих таблиц эксперты должны руководствоваться правилами составления обратносимметричных матриц, изложенными ранее, которые также кратко приводятся в пояснительной записке к анкете. Далее индивидуальные ранжировки экспертов могут быть сведены к единому (групповому) результату при наличии требуемой согласованности суждений экспертов.
Итак, решать первую часть (а) задачи оценивания ИП, связанную с установлением "весов" небольшого числа (5) критериев и такого же относительно небольшого числа (от 4 до 7) подкритериев, предлагается при помощи модификации метода Дельфи.
Что касается второй (б) части этой задачи, включающей в себя оценку проектов путем сравнения по каждому обобщенному критерию (подкритериям) и использование МАИ для вычисления соответствующих векторов приоритетов, то ее решение целесообразно поручить полностью ЛОЭ на основании точной количественной и качественной информации об анализируемых проектах. При этом сравнение количественных показателей (а таких показателей в табл. 1 достаточно много) не вызывает каких-либо затруднений (основной упор здесь делается на точности, с которой получены те или иные показатели). При сравнении же идентичных качественных показателей, оценивать которые можно при помощи балльной шкалы, ЛОЭ необходимо снабдить специально разработанной для этих целей инструкцией. В качестве такой инструкции можно использовать, например, табл. 4, в которой приведены данные по критерию КНТЗ, "весам" его подкритериев и пяти возможным значениям показателей ИП по каждому из подкритериев в десятибалльной шкале.
Как видно из табл. 4, для целей формализации всего вычислительного процесса оценки ИП удобно все количественные данные сводить к указанным значениям десятибалльной шкалы. Очевидно, пользуясь точными данными об инновационных проектах, ЛОЭ тем самым имеет возможность строить все матрицы парных сравнений таким образом, что они будут полностью согласованными обратносимметричны-ми матрицами, у которых главное собственное значение равно числу сравниваемых объектов, а отношение согласованности тождественно равно нулю. Следовательно, при решении второй части задачи с помощью МАИ проблемы оценок согласованности суждений экспертов не
Таблица 4
Показатель Балл Характеристика показателей
1.1. Новизна 10 Аналогичные технические решения отсутствуют или неизвестны
Вес 8 8 Принципиально новое решение в сравнении с известными аналогами, позволяющее существенно улучшить технологию
Б1.1 тах = 80 5 Техническое решение дает полезную модификацию известных решений (незначительно улучшает технологию)
2 Техническое решение не дает улучшений технологий
0 Решение может ухудшить известную технологию
1.2. Степень фундаментальности 10 Технология решения основана на новейших результатах фундаментальных исследований
Вес 7 8 Использованы ранее известные фундаментальные данные, которые не применялись
Б1.2 т ах = 70 5 Решение основано на известных и применявшихся результатах фундаментальных исследований
2 Решение основано на данных поисковых исследований
0 Решение основано на давно известных фактах
1.3. Преимущества по сравнению с аналогами 10 Решение имеет существенные качественные и количественные преимущества перед известными
Вес 5 5 Преимущества незначительные
Б1.3 тах = 50 2 Нет преимуществ
0 Решение уступает известным по некоторым показателям
1.4. Патентоспособность 10 Патент получен (имеется)
Вес 4 8 Получено положительное решение, патент оформляется
Окончание табл. 4
Обобщенный критерий Показатель Балл Характеристика показателей
КНТЗ Б1.4 max = 40 5 Подана заявка
2 Заявка не подана, идет поиск аналогов
0 Вопрос о патентовании не рассматривался
1.5. Применяемость во многих отраслях 10 Более, чем в трех отраслях
Вес 3 8 Не меньше трех
Б1.5 max = 30 5 В одной-двух отраслях
2 Узкое применение в одной отрасли (стабильное)
0 Применяется эпизодически
1.6. Перспективность 10 Открывает новое направление в технике
Вес 2 8 Может быть основой существенной модернизации многих видов техники
Б1.6 max = 20 5 Позволяет улучшить характеристики техники данной отрасли
2 Решение полезно, но эффективность применения не очевидна
0 Перспективность сомнительна
1.7. Вероятность технического успеха 10 0,8
Вес 1 8 0,6
Б1.7 max = 20 5 0,4
2 0,2
0 0,1
Б1 max — 300
возникает (эта согласованность достигается при решении первой части задачи) в силу того, что решение этой части выполняется не экспертами, а ЛОЭ, использующим информацию о сравниваемых проектах, представленную разработчиками.
Ранжирование ИП является главной задачей и осуществляется в два этапа. На первом этапе производится простая балльная характеристи-
ка каждого ИП, для чего вычисляется сумма произведений ее оценок на соответствующие "веса" подкритериев. На втором этапе для более детального ранжирования применяется МАИ, однако, только к тем проектам, которые по результатам первого этапа набирают не менее 75 % максимально возможного балла, равного 1000. Таким образом, балльная оценка проектов дает возможность отсортировать и проранжиро-вать их от набранной суммы баллов.
В целом же рассматриваемая методика, построенная на идее определенного сочетания сильных сторон известных экспертно-аналити-ческих методов, существенно повышая эффективность многокритериальной экспертной оценки и отбора ИП инновационной направленности, включает следующие этапы процедуры их анализа:
1. ЛОЭ формирует группы экспертов для установления "весов" всех обобщенных критериев и подкритериев, при этом работа с каждым экспертом ведется оперативно в индивидуальном порядке.
2. Полученные от экспертов ранжировки важности обобщенных критериев обрабатываются ЛОЭ и при наличии необходимой согласованности сводятся к единому групповому суждению, при этом ЛОЭ устанавливает уровни (качественные либо количественные) компе-тентности экспертов. Достижение требуемой согласованности суждений экспертов может потребовать двух-трех итераций.
3. Эксперты-специалисты в узких областях распределяют установленные ранее "веса" обобщенных критериев по подкритериям, а обработка полученной от них информации производится точно также, как это делалось на предыдущем этапе процедуры.
4. ЛОЭ на основании имеющейся количественной и качественной информации, необходимой для "раскрытия" отдельных показателей табл. 1, производит оценку каждого из выбранных для ранжирования ИП по каждому подкритерию, проставляя соответствующие баллы из пяти возможных значений десятибалльной шкалы (10, 8, 5, 2, 0).
5. Данные, полученные на предыдущем этапе, используются при формировании матриц попарных сравнений анализируемых проектов по каждому из подкритериев, приведенных в табл. 1 (число матриц равно числу всех подкритериев табл. 1), которые позволяют вычислить векторы приоритетов сравниваемых проектов по каждому подкрите-рию.
6. С учетом установленных на этапах 2 и 3 весов критериев и под-критериев и вычисленных на этапе 5 значений векторов приоритетов проектов по каждому подкритерию при помощи соотношений (3) производится окончательная оценка всех рассматриваемых ИП и их ранжирование.
7. В целях определения чувствительности оценок к изменению соотношений приоритетов критериев и подкритериев, в том числе отличных от установленных экспертами, МАИ применяется несколько раз для различных рекомендуемых ЛОЭ распределений приоритетности, чтобы ЛПР имел перед собой общую возможную картину для принятия окончательного решения о первоочередности финансирования предлагаемых проектов.
СПИСОК ЛИТЕРАТУРЫ
1. Методические рекомендации по оценке инвестиционных проектов (вторая редакция). - М.: Экономика, 2000.
2. Добров Г. М. Прогнозирование науки и техники. - М.: Наука, 1969.
3. Соболь И. М., Статников Р. Б. Выбор оптимальных параметров в задачах со многими критериями. - М.: Наука, 1981.
4. Тихонов А. Н., Цветков В. Я. Методы и системы поддержки принятия решений. - М.: МАКС Пресс, 2001.
5. Ларичев О. И. Теория и методы принятия решений, атакжеХроникасобытий в Волшебных странах: Учебник. - М.: Логос, 2002.
6. Подиновский В. В. Количественные оценки важности критериев в многокритериальной оптимизации // НТИ, серия 2, 1999, № 5.
7. С а а т и Т. Принятие решений. Метод анализа иерархий. - М.: Радио и связь, 1993.
8. Емельянов С. В., Ларичев О. И. Многокритериальные методы принятия решений. - М.: Знание, 1985.
Статья поступила в редакцию 8.04.2004
Вячеслав Иванович Волков родился в 1946 г., окончил в 1974 г. МИРЭА и в 1994 г. Академию народного хозяйства при Правительстве РФ. Канд. эконом. наук, действительный член РАЕН и РИА, профессор РЭА им. Г.В. Плеханова, ответственный секретарь экспертного совета при Правительстве РФ. Автор более 80 научных работ, в том числе двух монографий, в области проблем технико-экономической эффективности, радиолокации, военной экономики, конверсии, теории и практики экспертной деятельности.
V.I. Volkov (b. 1946) graduated from the Moscow Institute for Radio Electronics and Automatics in 1974 and Academy of National Economy of the RF Government. Ph. D. (Economics), full member of the Russian Academy of Natural Sciences and the Russian Engineering Academy, professor of the Russian Economical Academy n. a. G.V. Plekhanov, executive secretary of the Expert Council of the RF Government. Author of more than 80 publications, including 2 monographs, in the field of problems of technical-economical efficiency, radiolocation, military economics, conversion, theory and practice of expert activity.
