Скаляризация векторных предпочтений: преодоление примитивизации Текст научной статьи по специальности «Математика»

-l^acci

осмотрены недостатки метода построения скалярной функции предпочтения, определенной в векторном пространстве, на основе аддитивной формы и коэффициентов важности. Показаны преимущества подходов, основанных на использовании функций полезности, коэффициентов замещения, попарного сравнения показателей. Приведены способы нивелирования недостатков метода попарного сравнения. В качестве альтернативного подхода предложен целевой д. в. трошин подход к определению функции предпочтения на основе описания кандидат техн. наук, физических эффектов функционирования системы и использования

ведущий научный сотрудник и „

института проблем критериев-заместителеи. Целевой подход рассмотрен на примере экономической безопасности использования энтропийной меры для оценки качества средств

и стратегического

планирования фгбоувпо наблюдения. Выдвинута гипотеза о возможности каталогизации «Финансовыйуниверситет основных систем и разработки типовых моделей скаляризации

при Правительстве ± х ^ А

Российской Федерации». векторных предпочтений с использованием целевого подхода.

Участник подготовки государственных решений и проектов СЩ]@ЧМ1М1(§

в сфере стратегического весовоц коэффициент, коэффициент замещения, полезность, попарное сравнение,

планирования, автор т т т т ж ж

почти зо научных предпочтения, скаляризация, энтропия.

работ. Область научных интересов: стратегическое планирование, обеспечение национальной безопасности и устойчивого развития предпринимательских структур, анализ систем и методология поддержки принятия решений.

E-mail: giopup@gmail.com

Скаляризация

векторных

предпочтений

преодоление

примитивизации

♦

♦

Входе разработки программ создания и развития социально-экономических систем, бизнес-стратегий, обликов сложных технических объектов и т.п., как правило, формируется несколько вариантов решений, которые приходится оценивать и сравнивать между собой. Одним из ключевых этапов решения этой задачи является формирование скалярной функции предпочтений (полезности), определенной в многомерном пространстве учитываемых параметров. Главное назначение такой функции - ранжирование альтернатив решения с целью выявить наиболее

предпочтительное. Любые функции, которые сохраняют один и тот же порядок ранжирования вариантов решения, являются инвариантными. Неудачный выбор функции предпочтения может привести к выбору не лучшей альтернативы. В случае принятия решений, касающихся долгосрочного развития, крупных экономических проектов и дорогостоящих технических систем, возможен ущерб, значительно превышающий затраты на обоснование таких решений.

Наиболее распространенным и в то же время примитивным способом описания интегральной

2013|№3(78)

функции предпочтения Т7 является ее представление в виде средневзвешенной суммы нормированных на интервале [0; 1] частных функций предпочтения (рг для каждого г-ш показателя решения из некоторого заданного множества рассматриваемых показателей:

Я

^=1>г'Фг= (!)

Г=1

где К - количество частных показателей, Я

^ гг — 1 ; 2г ~ весовой коэффициент для г-ш Г=1 частного показателя, фиксированный на всей области определения этого показателя.

Простейший вариант частной функции предпочтения - значения соответствующего г-ш частного показателя варианта решения тг, нормированные на некотором интервале, обычно [0; 1]. В этом случае в качестве базы для нормирования часто выбираются максимальные и минимальные значения показателей по выборке сравниваемых вариантов решения. Математическое представление нормированных показателей 7;;гнор выглядит следующим образом:

/дноР = тг-п?ш или ^ = п^-тТ

значения г-ш частного показателя на всем множестве рассматриваемых вариантов решений. Если увеличение качества решения пропорционально росту значения рассматриваемого г-ш частного показателя варианта решения, то используется левая формула, в противном случае - правая. За базу нормирования принимается разброс значений рассматриваемых вариантов решений.

Другим вариантом нормирования является приведение значения некоторой характеристики к максимальному значению этой характеристики в пространстве рассматриваемых вариантов решений:

л£°Р =тг/^; 14°?=п^ш/тг. (3)

Если увеличение качества решения пропорционально росту значения рассматриваемого г-ш частного показателя варианта решения, то используется левая формула, в противном случае -правая.

Подобные подходы рассмотрены в работе [2], показана их принципиальная неприемлемость, поскольку выбор базы нормирования влияет не только на абсолютные значения целевой функции, но и, главное, на ранги рассматриваемых альтернатив. Однако неприемлемо и предложенное в указанной работе решение проблемы: за базу для нормирования принимаются характеристики

некоторого эталонного образца (решения) из множества известных. В современных условиях ускоренного научно-технического прогресса эталонные образцы меняются несколько раз в год. Кроме того, при решении социально-экономических задач никакого эталонного образца может не быть в принципе. Невозможно построить формализованный критерий ранжирования альтернатив, устойчивый к смене эталонного образца.

Недостатки подхода обусловлены тем, что попытка найти объективную форму описания предпочтений строится на субъективном выборе диапазона изменения рассматриваемой величины, который не позволяет получать устойчивые результаты при введении относительных величин оценки показателей. Под устойчивостью понимается сохранение порядка предпочтений вариантов решений независимо от включения в рассмотрение новых альтернатив.

Простота структуры функции Т7 в формуле (1) явилась причиной широчайшего распространения метода взвешенной суммы в различных областях прикладных исследований: от ранжирования вариантов номенклатуры товаров широкого потребления в некоторой рыночной нише до описания финансовой устойчивости банков, выбора направлений создания сложных военно-техниче-ских систем и программ развития больших социально-экономических образований. При этом исследователи и проектировщики зачастую не углубляются в изучение адекватности метода решаемой задачи, а также в методологию определения значений весов (коэффициентов важности).

В то же время далеко не всегда структура интегральной функции предпочтения может быть представлена в аддитивной форме. Обязательное условие для этого - выполнение гипотезы об аддитивной независимости показателей по предпочтению (полезности). Даже при выполнении менее жесткого условия - независимости по полезности (но не аддитивной) - показатели могут усиливать или ослаблять полезности друг друга и интегральная функция приобретает мультипликативный или полилинейный вид [1, 3]. Игнорирование этого факта приводит к ошибкам ранжирования альтернатив решения.

В формуле (1) предполагается, что функция предпочтений линейно зависит от значений соответствующего показателя. Однако эта гипотеза во многих случаях не соответствует действительности. Как правило, частные функции предпочтения (полезности) монотонно либо возрастают, либо убывают на множестве определения, однако вид их не является линейным. С большей вероятностью можно ожидать, что при описании предпочтений будет наблюдаться эффект насыщения

*

ффективное

нтикризисное

правление

Наука

и приращение предпочтения станет уменьшаться по мере роста значения показателя. В теории полезности строго доказано, что если лицо, принимающее решение (ЛПР), проявляет одинаковую склонность или несклонность к риску во всем диапазоне рассматриваемых значений параметров, то функция полезности имеет экспоненциальный характер [1].

Для определения весовых коэффициентов разработчики различных методик и моделей, как правило, ограничиваются отсылками к методам экспертных оценок. Следует заметить, что неоспоримая основа для определения весов существует только тогда, когда все частные показатели могут быть однозначно отображены на ка-кую-либо общую шкалу, например стоимости или какой-либо физической величины. В противном случае обоснованный и объяснимый выбор значений весов весьма затруднителен.

Таким образом, формальное использование простейшей модели описания векторных предпочтений в виде (1) зачастую является неоправданным упрощением предпочтений ЛПР и может приводить к существенным ошибкам ранжирования альтернатив решения. При этом погрешность вычисления значения предпочтения для некоторой альтернативы может составлять до 10%, а в иных случаях и значительно больше. Во многих задачах справедливо конвертировать абсолютные значения нормированной функции предпочтения в стоимостную форму явно или неявно. В этом случае ошибка выбора альтернативы, которая уступает на 5-10% лучшей, но отвергнутой по некомпетентности, на уровне региональных проектов, бизнес-стратегий, передовых технологий и т. п. может привести к потерям в размере и (107-108) руб.

За последние 15-20 лет поверхностное отношение к методологии принятия многокритериальных решений в условиях неопределенности и влияния человеческого фактора стало тенденцией. Примитивность быстрых легких решений, полученных на основе интуиции, выдается

Попарное равнение важности частных показателей

№ показателя 1 г К

1 2 0

г 0 1

К 2 1

Примечание. Заштрихованные ячейки не заполняются, поскольку показатель не сравнивается с самим собой.

за экспертную оценку. В то же время следует отметить, что современная методология извлечения, обработки и использования экспертного знания и предпочтений ЛПР является результатом серьезных исследований, в том числе в сфере математической логики, функционального и корреляционного анализов, психологии мотивации и других научных дисциплин. Эффективное использование этой методологии требует профессиональной квалификации и экспертного труда.

Более углубленный подход к скаляриза-ции векторных предпочтений заметно сложнее. Тем не менее, даже если требуется провести работу с группой лиц, участвующих в принятии решения, временные затраты не превышают 10 чел./дней. Эти затраты несопоставимы с эффектом, который может быть получен в результате принятия точного и обоснованного решения. В масштабе массовой аналитики и обоснования решений можно облегчить работу за счет грамотного использования специальных программных пакетов, существующих на рынке интеллектуальной продукции.

Для того чтобы каким-то образом выявить сравнительные предпочтения ЛПР в отношении тех или иных параметров, в теории принятия решений разработан ряд методов, результаты которых с помощью математических манипуляций преобразуются в коэффициенты важности. К числу имеющих логически стройную структуру относятся использование коэффициентов замещения вместо коэффициентов важности [1], методы попарного сравнения показателей по степени влияния на интегральное предпочтение [4].

Использование коэффициентов замещения вместо коэффициентов важности. Исследователь выясняет у ЛПР, насколько можно ухудшить решение по одному показателю, чтобы добиться наилучшеш значения по другому при неизменных значениях остальных показателей. При этом каждое предпочтение достаточно задействовать только в одном сопоставлении. Единственный недостаток - необходимость установить точные (на субъективном уровне) отношения между коэффициентами для частных предпочтений, что может вызвать размышления и сомнения у ЛПР.

Метод попарного сравнения. Процедура выяснения предпочтений ЛПР предельно проста. По грубой шкале эксперт попарно сравнивает силу влияния показателей на итоговое решение о выборе альтернативы. В простейшем случае ЛПР предлагается заполнить та-

20131№ 3 (78)

блицу, аналогичную тем, которые ведутся на турнирах по игровым видам спорта (см. в таблице).

Если, например, первый показатель важней, чем г-й, то в ячейку, расположенную на пересечении первой строки и r-го столбца вносится 2, в противном случае - 0. Если ответ дать затруднительно или ЛПР считает показатели равноценными, то в соответствующую ячейку вносится 1.

Сравнение пар показателей осуществляется по очень приблизительной шкале (всего три значения), но за счет того, что для выяснения важности каждого показателя используется несколько оценок сравнительной предпочтительности с другими частными показателями (разные измерители приблизительны, но их несколько), точность относительных оценок оказывается достаточно высокой. Очевидно, что метод дает более адекватные и устойчивые результаты при увеличении количества сравниваемых показателей. Попарное сравнение предпочтительности может осуществляться и по шкале, имеющей больше градаций, например «значительно важнее», «немного важнее», «безразлично», «менее важный», «существенно менее важный».

В таблице собраны относительные значения приоритетов (весов) показателей. Далее вычисляются абсолютные веса показателей, которые используются для скаляризации векторных предпочтений (вычисления интегральных функций предпочтений). Для этого существует ряд способов, например использование собственных значений обратно симметричной квадратной матрицы [4]. Достаточно приемлемые результаты, обладающие преимуществом методической простоты и ясности, можно получить путем определения абсолютного веса как доли полученных баллов в их общей сумме.

Приоритет r-го показателя в этом случае рассчитывается по формуле R

а=1,гфа С4)

Zr~ R- {R- l) '

где bm - значение в ячейке, стоящей на пересечении r-й строки и я-го столбца.

Методу присущи некоторые недостатки, которые не позволяют рассматривать его результаты как абсолютно точно отражающие структуру предпочтений ЛПР. Во-первых, отсутствует объективная основа для определения диапазона измерения важности. Во сколько раз наиболее важный показатель (победитель) важнее (сильнее) показателя, занявшего последнее место? Во-вторых, результаты вычисления абсолютных весов существенно зависят от выбранного численного эквивалента наименьшего значения шкалы сравнения.

Например, если выбрана «спортивная шкала» (0; 1; 2), то в какой-либо строке матрицы могут оказаться одни нули и соответствующий показатель может получить нулевой вес. В этом случае он должен быть исключен из анализа, даже если это нецелесообразно с практической точки зрения.

Если исключать показатель не следует, то можно прибегнуть к двум способам коррекции весов, получаемых непосредственно по данным таблицы.

Способ 1. Устанавливается минимальный вес гтт, который может иметь показатель, и в соответствии с ним вместо г,, используется гг~, вычисляемое по следующей формуле:

_гффективное Антикризисное травление

zr (zr + )/(-/+-/?• )

(5)

Способ 2. Устанавливается максимально допустимое отношение между максимальным и минимальным весом /? = гтах/гт^п. Идея этого способа наиболее близка к коэффициентам замещения.

Учитывая, что человек надежно различает только 7 градаций некоторой величины, можно рекомендовать принимать значение /? < 10 (не более 70% различаемой разницы соседних градаций, что примерно соответствует принятому в теории электрорадиоцепей порогу устойчивого различения сигнала по сравнению с белым шумом).

Пусть ¿Ьпп = min

R А

Ъг = E*ra , ¿ъшх = шах Г п LM

аФг аФг

4т> -^тах “ абсОЛЮТНЫе НеНОрМИрОВЭННЫе Веса, При ЭТОМ У.т |П— ^тт- ^-т их ^ ^тт-^

Если Ьтт Ф 0, то значения 2Г вычисляются по формуле:

д. = ьтт • (1 + ~ Ь^т}’ (А ~!) 1 ■

Апах Апт

(6)

Коэффициенты важности гп которые могут быть использованы в формуле (1), в этом случае вычисляются как относительные веса:

2г=^г/Е^г, (7)

/ Г=1

Если Ьтт = 0, то следует ввести минимальное значение Ь+тт и определить, что /?= Zmí¡x/b+mm. В результате формула (6) примет вид:

Z = h

¿-¡г Mn

1 +

ъЛь-1)

(8)

Можно избежать нулевых значений Ьп изменив числовую шкалу описания предпочтений. Например, «предпочтительно» - 3, «равнозначно» - 2, «менее предпочтительно» - 1. В этом случае в формуле (4) знаменатель следует умножить на 2.

Отсутствие нулевых значений в таблице

позволяет использовать еще один способ определения абсолютных значений весов показателей -на основе вычисления относительной значимости среднегармоничных оценок баллов для каждого г-го показателя.

zr = j П ЪгаГЕй ГГ Ьга <9>

У а-\,гфа / г-1 у а-\,гфа

Упрощенным подходом к оценке вариантов решения может быть расчет длины вектора, описывающего вариант решения, имеющего R координат (частных показателей):

r-Jprrtf- ,10>

где т°г- нормированное значение r-го показателя качества решения; zr может быть вычислено одним из выше приведенных способов для вычисления коэффициентов важности или замещения.

Нормированные значения показателей, в отличие от модели (2) - (3), вычисляются по формуле

шг° = тг /тшш,, (11)

где и;шах - максимально возможное (теоретически предельное) значение рассматриваемого показателя.

Точка отсчета (начало координат в рассматриваемом векторном пространстве) соответствует минимально возможным значениям показателей и совпадает с нулем. В этом случае нормирование используется только для обеспечения сопоставимости влияния частных показателей на интегральную функцию предпочтения. В такой модели интегральной функции предпочтения варианты решения оцениваются не относительно друг друга, а по удаленности относительно не зависящей от них точки отсчета в пространстве решений.

Важным методическим ресурсом уточнения решений является использование экспертных оценок на наиболее низком уровне. Задачу анализа альтернатив необходимо декомпозировать на максимально возможное количество частных задач и проблем, при решении которых уже не обойтись без субъективного мнения ЛПР. Далее перед ЛПР ставятся простые вопросы, на которые оно может дать очевидные для себя ответы. Например, сравнить по значимости два показателя, определить свое отношение к риску при различных значениях показателя в построении функции предпочтения, определить точку половинной предпочтительности и т. п. В этом случае ЛПР легче разобраться в своих предпочтениях, его ответы будут точнее.

Рассмотренные способы скаляризации и, в частности, вычисления весовых коэффициентов

позволяют повысить точность решений и их понятность для ЛПР. Объективные методы оценивания различных решений можно развивать за счет применения целевого подхода, когда вместо абстрактных функций предпочтения используется некоторая физическая величина, которая описывает конечный целевой эффект реализации решения (использования технического образца).

В качестве основы для разработки таких подходов следует рассматривать мотивацию творческой деятельности, цели, которые ставит перед собой человек:

• уменьшение степени неопределенности интересующих состояний, которая может быть измерена в единицах информации;

• совершение (или обеспечение) желательных событий и несовершение (предупреждение) нежелательных, что может быть описано вероятностью, среднеожидаемым благом или среднеожи-даемым ущербом;

• продолжительность жизни;

• обеспечение демографических и трудовых ресурсов;

• экономия трудозатрат;

• экономия материальных ресурсов и энергии;

• степень свободы выбора состояний;

• обеспечение разнообразия, например биологического, и др.

Качество системы может быть описано степенью достижения цели ее создания и использования, а в качестве оценочного может использоваться критерий-заместитель, который взаимно однозначно описывает степень приближения к цели. На общем методологическом уровне невозможно решить эту задачу, поскольку смысл целевых критериев и формализованная форма их описания непосредственно зависят от содержания конкретной задачи. Мы акцентируем внимание на продуктивности подобных подходов к моделированию предпочтительности решений. В качестве иллюстрации возможности их использования предлагается комплексный объективный критерий для оценки качества средств наблюдения как для решения военных задач, так и в интересах экономики, науки, социальных программ.

Традиционно для оценки качества решения целевой задачи наблюдения используются четыре основных показателя:

• разрешающая способность в каждом из диапазонов наблюдения;

• оперативность получения, передачи, обработки и представления информации;

• периодичность работы;

• площадь наблюдаемой поверхности или объем наблюдаемого пространства.

Для интеграции указанных показателей в ска-

2013|№ 3(78)

лярный показатель качества (предпочтения) может быть введена энтропийная мера оценки результатов наблюдения, которая позволяет строго аналитически описать количество добытой информации:

К, Мt

н (';т)=-Е p(ki)' X /Ч) ■■ р( mt/kt)- In {p{mT /mt) • М™,А,)Ь (12)

где Н - количество информации о состоянии объекта в будущий момент времени г, если измерение (наблюдение) состояния объекта проведено в момент времени /; kt - состояние (значения выходной характеристики) аппаратуры наблюдения; Kt - общее количество возможных состояний аппаратуры наблюдения в момент времени /; тт -состояние наблюдаемого объекта в г-й момент времени; Мт - общее количество возможных состояний наблюдаемого объекта в момент времени г; в общем случае ге[0; со], однако практически разница (t - г) должна определяться периодичностью наблюдения; mt - условный порядковый номер состояния наблюдаемого объекта в /-Й момент произведенного наблюдения; p(kt), p(})iT/})it), p{mt!kt) - вероятности следующих событий: kt-m состояния (значения выходной характеристики) аппаратуры наблюдения, mT-m состояния (местоположения) наблюдаемого объекта при условии, что в момент времени / его состояние было ?п{, })1гто состояния наблюдаемого объекта при условии, что в момент времени / выходная характеристика аппаратуры наблюдения имела kt-e значение.

Указанные вероятности определяются поведением наблюдаемой системы и такгико-техни-ческими характеристиками аппаратуры наблюдения. Например, если наблюдаемая система -подвижный морской объект, то через время (/ - г) он может с равной вероятностью находиться в любой точке круга с диаметром vmaxr, где v - максимально возможная скорость перемещения интересующего объекта.

Разрешающая способность аппаратуры наблюдения и другие технические характеристики влияют на величину вероятности p{mt!kt) правильной идентификации объекта наблюдения (например, трактор или танк) и точность определения его состояния (местоположения). Эта вероятность может быть рассчитана аналитически в каждом конкретном случае или по результатам соответствующих экспериментальных исследований. Вероятность p{mThnj) позволяет учесть оперативность и периодичность наблюдения. Вероятности p(kt) используются для обеспечения математической строгости и универсальности формальной постановки задачи применительно к разнообразным приложениям. Как правило, все kt-e состояния равновероятны. Для случая зада-

ния состояния объекта наблюдения или выходной характеристики аппаратуры наблюдения в ка-ком-либо непрерывном диапазоне соответствующие суммы заменяются интегралами, а вероятности - плотностями распределения вероятности на заданной области изменения величин.

Энтропийный подход позволяет не только объективно определить меру для сравнения различных вариантов создания систем наблюдения, но и интерпретировать трудно осязаемую величину энтропии через экономически очевидные характеристики для абсолютной оценки качества наблюдения. Для этого могут быть использованы эквивалентные интервалы погрешности измеряемой величины.

Задачи наблюдения можно декомпозировать на элементарные задачи двух видов:

• количественные (определение координат, геометрических размеров, числа объектов в наблюдаемой группе);

• качественные (распознавание образов, идентификация объектов).

Для количественных задач величину добытой информации можно интерпретировать в единицах измерения эквивалентной погрешности определения наблюдаемой величины. Пусть Напр -энтропийная мера исходной (априорной) неопределенности некоторой наблюдаемой величины 51, тогда

_гффективное Антикризисное травление

Дшр= /ф^-Ьф^^шш Д,пр =Ёф(5,у)'*ф(5,у).

(13)

где и - границы интервала возможных значений 51 для непрерывного случая; $ - некоторое 7-е дискретное значение; / - общее количество возможных значений величины 51; ^(5) -закон плотности распределения; у>($) - частота выпадения событий.

Эквивалентный интервал значения величины 51 равен:

-^апр = ехр (Яапр). (14)

После выполнения операции наблюдения, заканчивающейся представлением целевой информации потребителю, апостериорная неопределенность значения величины 51 равна Ншс и, соответственно, величина эквивалентного интервала изменения ее значения 8ЗПС равна:

^Капс = ехр (Яапс). (15)

Величина Нзпс вычисляется аналогично величине Яапр, но в результате проведенного наблюдения сужается интервал [^щ; ^шах] за счет изменения значений его границ для непрерывного случая или уменьшается величина / для случая дискретного множества возможных состояний наблюдаемого объекта.

Разность ДО = 5Ч,пр - З^апс представляет собой

Наука

эффект от применения средства наблюдения, выраженный в единицах величины 51. В зависимости от конкретной задачи возможна дальнейшая интерпретация показателя ДО, вплоть до стоимостного. Например, количество и мощность требуемого боезаряда для поражения найденной цели, объем топлива и других ресурсов для приближения к найденному объекту спасения и т. п.

Решение задачи распознавания образов (качественная задача наблюдения) можно оценить с помощью среднеожидаемой функции полезности, вычисляемой по формуле

/ /

и =

Лапе {ч/ J)' Лапр(-/)

(16)

q=\j=\

где 7 - объект из множества распознаваемых объектов; J - общее количество распознаваемых объектов; с[ - результат распознавания; если с[ = _/, то задача распознавания решена правильно, если q Ф 1, то произошла ошибка распознавания; 2(с[1]~) - функция штрафа, накладываемого за ошибку, возникающую при решении, что распознан объект </, в то время как в действительности наблюдается _/'-й объект; и(г(д//))- функция полезности по показателю размер штрафа; ЧяшкЧЧ) ~ вероятность СОбыТИЯ, ЧТО решение о том, что распознан _/'-й объект правильное; ЛапрС/) - априорная вероятность появления 7-го объекта.

В форме штрафа может выступать зря потраченный ресурс, понесенный ущерб в результате

несвоевременного обнаружения объекта, санкции и различного рода компенсации ущерба, нанесенного стороннему субъекту в результате ошибочной идентификации объекта.

Рассмотренный на примере средств наблюдения, к которым можно относить средства гео- и топосъемки и навигации, целевой подход для формирования функции предпочтения имеет перспективу развития для широкого круга прикладных задач. В случае успешной реализации целевой подход позволяет добиться логически неуязвимых оценок вариантов решений и объективности выводов с точностью до оценок значений частных параметров рассматриваемых систем и их взаимодействия с окружающей средой. В результате развития этого направления скаляризации векторных предпочтений можно говорить о перспективе создания набора типовых методических подходов и моделей для использования в различных часто повторяющихся ситуациях принятия социально-экономических и технико-экономических решений. Для этого, прежде всего, необходимо каталогизировать указанные ситуации и определить для них целевые критерии.

В заключение целесообразно подчеркнуть, что преодоление сложившейся тенденции на примитивизацию подходов к обоснованию решений позволит упростить продвижение лучших инноваций, в значительной мере положительно повлияет на экономическую эффективность инвестиций.

т

ШІ

1. Кини Р. Л, Райфа X. Принятие решений при многих критериях: предпочтения и замещения. М.: Радио и связь, 1981. 560 с.

2. Кузнецов Ю. А. К вопросу о нормировании характеристик при оценке технического уровня изделий // Вестник Концерна ПВО «Алмаз-Антей». 2012. №2 (8). С. 016-020.

3. Петров А.В., Федулов Ю.Г. Подготовка и принятие управленческих решений. М.: РАГС, 2000. 241 с.

4. Саати Т. Принятие решений. Метод анализа иерархий/Пер. с ант. Р. Г. Вачнадзе. М.: Радио и связь, 1993. 278 с.

8-9 октября, 2013

Москва, Россия МЕЖДУНАРОДНАЯ КОНФЕРЕНЦИЯ

СТРАХОВАНИЕ ИМУЩЕСТВА И ОТВЕТСТВЕН НОСТИ

За дополнительной информацией обращайтесь к Наталье Костаревой:

+420 226 239 749 1 телефон nataIia.kostareva@icenergy.co.uk

+44 207 613 1691 ] телефон \лгит.1сепег§у,co.uk