Отладка непрерывных многопараметрических шкал Текст научной статьи по специальности «Математика»

УДК 338.4.01

ОТЛАДКА НЕПРЕРЫВНЫХ МНОГОПАРАМЕТРИЧЕСКИХ ШКАЛ

В.Б. Гусев

Институт проблем управления им. В.А. Трапезникова РАН, г. Москва

Рассмотрены методы отладки многопараметрических непрерывных шкал оценивания, предназначенных для принятия согласованных решений при многоцелевом планировании на основе экспертных знаний. Приведены примеры процедур верификации и тестирования шкал.

ВВЕДЕНИЕ

Принятие решений в различных сферах целевого планирования, таких как формирование комплексных программ, разработка крупномасштабных проектов, оптимизация бюджета, индикативное планирование, часто связано с необходимостью согласованно разрешать определенный набор проблемных ситуаций. Каждое решение в рамках единого хозяйственно-финансового механизма может затрагивать интересы сразу нескольких взаимодействующих сторон. Ввиду сложности и частичной недетерминированности объектов разработки и управления, в таких ситуациях применяют экспертные методы принятия решений, включающие в себя методы оценивания, моделирования, оптимизации на основе многопараметрических ткал. Эти методы позволяют учитывать несколько целевых установок одновременно, манипулируя заданным набором параметров. Распространенный подход к построению процедур принятия решений указанного рода состоит в применении процедур ранжирования на основе численного критерия, характеризующего качество рассматриваемых объектов в зависимости от их параметров или воздействующих факторов [1]. Многопараметрические шкалы оценивания представляют собой частный случай такого критерия.

Будем понимать под многопараметрической шкалой оценивания функцию многих переменных /(%), принимающую значения из определенного интервала [10, /х], интерпретируемые как оценки анализируемого объекта. Здесь х — вектор параметров оцениваемого объекта. Непрерывные многопараметрические шкалы занимают важное место при принятии решений на основе экспертных

знаний. Так же, как и в теории полезности, обладающей разработанным теоретическим аппаратом [2], «узким местом» при использовании непрерывных шкал оценивания является методика их построения.

Один из путей, облегчающих формирование многопараметрических шкал для практических приложений, состоит в применении дискретных шкал с ограниченным числом градаций [3, 4]. В этом случае проблема формирования исходных оценочных шкал упрощается, так как сводится к работе с ограниченным множеством значений. Однако интерпретация результатов оценивания становится неустойчивой, поскольку малые изменения сравниваемых параметров объектов могут приводить к скачкообразным изменениям оценок. Непрерывные (принимающие непрерывный ряд значений) шкалы, с одной стороны, требуют более сложных и трудоемких процедур формирования этих шкал, а с другой стороны, упрощают ранжирование объектов и интерпретацию результатов оценивания. В частности, свойство непрерывности является необходимым в процедурах принятия решений на многопараметрических шкалах с применением методов выпуклой оптимизации [5].

При построении многопараметрической шкалы оценивания методом сборки из элементарных шкал («комплексного критерия» по терминологии, применяемой в методе векторной стратификации [3]) применяются два вида локальных оценок. Значения параметров объекта оцениваются с помощью однопараметрических шкал оценивания У] = (Ру'(л>),3 = 1, ..., т, где т — число оцениваемых факторов. Затем полученные оценки агрегируются с помощью элементарных шкал с двумя или более параметрами (аргументами). Эти шкалы яв-

ляются функциями свертки, задаваемыми на основе экспертных оценок влияния факторов нижнего уровня i на факторы следующего по убыванию уровня иерархии i — 1, i = k, ..., 1, где k — наибольший номер уровня для схемы оценивания:

у)-1 = % ( у1 , у2 , ...).

В результате суперпозиции однопараметрических шкал и функций свертки всех вышестоящих уровней формируется многопараметрическая шкала комплексного оценивания как скалярная функция у0 = /(х) векторного аргумента х = (х1, х2, ..., хт).

Численные реализации однопараметрических шкал могут задаваться с помощью таблиц или аналитически. Технологии построения бинарных и п-арных функций свертки могут быть различными, поскольку в случае бинарной свертки удобно использовать табличную форму функции (матрицу).

Непрерывность и кусочная гладкость многопараметрической шкалы комплексного оценивания в методе векторной стратификации обеспечивается интерполяцией внутренних шкал между узлами, задаваемыми экспертным путем [5].

В случае множественных агрегирующих связей можно пользоваться аналитическим заданием функций свертки. В частности, для линейной свертки оценок широкую известность получил метод анализа иерархий путем построения матриц парных сравнений [6].

Отметим, что в случае применения только линейных сверток процедуры оптимизации комплексной оценки дают малоприемлемые результаты — переброску всех ресурсов в одну вершину. Это отражает тот факт, что линейное оценивание плохо отражает свойство функций полезности — их «насыщаемость». Линейная структура свертки относится только к полностью взаимозаменяемым факторам. Если такой взаимозаменяемости факторов нет, следует применять нелинейные свертки, например, получаемые по методу векторной стратификации. Поэтому применение п-арных линейных сверток можно оправдать лишь недостатком экспертной информации об объекте или отсутствием необходимости в более адекватных оценках при принятии решений.

Шкалы оценивания, используемые при принятии решений на основе непрерывных процедур ранжирования и оптимизации, помимо непрерывности и кусочной гладкости, должны в той или иной степени удовлетворять ряду естественных требований, таких, как:

— устойчивость, когда малым изменениям показателей для любых факторов соответствуют малые изменения оценки состояния системы;

— критичность, когда существенным изменениям хотя бы некоторых показателей соответствуют существенные изменения оценки состояния;

— соответствие, когда значения показателей отражают специфику совместного влияния на состояние объекта оценивания (компенсируемость либо дополнительность; степень симметрии влияния факторов, имеющих различную степень важности или находящихся на разных уровнях иерархии графа оценивания);

— состоятельность, когда значения показателей влияют на оценку в соответствии со свойствами функций полезности (монотонность, выпуклость);

— полнота, когда весь диапазон оценок (значений шкалы) достижим при различных значениях показателей (параметров шкалы);

— сепарабельность факторов, используемых как входы модели оценивания, т. е. относительно малая их взаимообусловленность, отсутствие детерминированной функциональной зависимости между факторами оценивания;

— соразмерность, когда влияние факторов на состояние объекта соразмерно вкладу соответствующего параметра шкалы на изменение ее значений (близким по значимости факторам соответствуют близкие значения предельных оценок — частных производных шкалы по параметрам шкалы и наоборот).

Перечисленные требования к процедуре оценивания могут выполняться в той или иной степени, зависимо от конкретной схемы оценивания и принятия решений. Пользователь этой схемы (эксперт, лицо, принимающее решения) формирует критерий качества оценивания, используя эти или другие требования в качестве основных факторов, имеющих измеряемые показатели.

Практическое применение рассматриваемого подхода требует обоснованной методики отладки численных значений элементов матриц свертки и таблиц шкал оценивания. Можно наметить два взаимодополняющих подхода к решению проблемы отладки:

— верификация многопараметрических шкал на основании синтеза общих соображений о свойствах разрабатываемой шкалы, специфике решаемой проблемы, свойствах рассматриваемого объекта, требованиях теории полезности;

— тестирование численных значений соответствующих элементов схем оценивания на основании анализа реальных или мысленных прецедентов оценивания.

Верификация многопараметрических шкал может рассматриваться в смысле критерия соответствия формируемой шкалы предъявляемым к ней требованиям. Результатом верификации является шкала, соответствующая оптимальному значению этого критерия.

Процедура тестирования шкал заключается в сопоставлении результатов их применения к некоторому (реперному) набору объектов с известными (эталонными) оценками. Ее можно рассматривать как обобщение процедуры измерения, состоящей

в сопоставлении измеряемого объекта с эталоном. Степень соответствия тестируемой шкалы приемлемым значениям контролируется экспертом. На основе результатов тестирования можно делать выводы об адекватности исходных шкал, корректировать их, а также синтезировать шкалы с требуемыми качествами. К тому же, будем различать два вида тестирования: априорное тестирование — качественная интерпретация значений оценочной шкалы на основе мысленных прототипов и апостериорное тестирование — сопоставление результатов оценивания с прецедентами прототипа (эталонными образцами, имеющими заданные значения оценок).

Оба этих подхода могут применяться в любой последовательности, дополняя друг друга. Так, можно рассмотреть следующий алгоритм отладки многопараметрических непрерывных шкал.

1. Построение графа связей локальных шкал для схемы оценивания.

2. Формирование, предварительные верификация и тестирование элементов схемы оценивания.

3. Формирование синтезированной схемы оценивания, ее тестирование и верификация.

4. Модификация графа и (или) элементов схемы при наличии отклонений результатов тестирования от нормы, переход к п. 2.

5. Применение готовой схемы для принятия решений.

1. ВЕРИФИКАЦИЯ ЭЛЕМЕНТАРНЫХ ШКАЛ

Перечисленные свойства шкал оценивания служат в качестве опорных при верификации шкал оценивания. Часть свойств может контролироваться пользователем непосредственно, а часть — опосредованно, в результате исследования готовой шкалы.

Пусть шкала, оценивания представлена кусочно-гладкой функцией f(x), x е R”, где D — замкнутая ограниченная область.

Введем параметры оценки каждого из факторов качества.

Устойчивость многопараметрической шкалы означает равномерную ограниченность сверху ее частных производных и может оцениваться показателем фр равным максимуму среднего значения частных производных, нормированному на их максимум

Ф1 =

max (maxf( x) - minf( x))/argmaxf(x) - argminf( x )|

_ i Xi Xi Xi Xi

max (max| df( x) / dx\) ’

где x, i = 1, 2, ..., n — компоненты вектора x.

Критичность многопараметрической шкалы означает ограниченность снизу хотя бы одной из

ее частных производных и может оцениваться показателем ф2, равным максимину частных производных, нормированному на их максимум: max( min | df( x)/3xt\) ф2 max ( max | df(x)/ 3x;-| ).

Свойство соответствия по сравнительному характеру влияния факторов несет смысловую нагрузку, поэтому его составляющие должны получать значения как параметры управления при формировании шкалы:

— дополнительность означает, что значимость дополнительных приращений факторов в некоторых точках резко отличается от значимости соответствующего приращения другого фактора (градиент шкалы оценивания имеет скачок либо по направлению, либо по модулю на всей области определения); она может оцениваться показателем ф3, связанным с наличием у шкалы участков постоянства:

Ф3 = 1 — max(min(cf(x)/3xi)/max(cf(x)/3xi));

i X X

— компенсируемость означает, что значимость дополнительных приращений каждого фактора сравнима с значимостью соответствующего приращения другого фактора (градиент шкалы оценивания непрерывен и имеет ограниченную вариацию как по направлению, так и по модулю на всей области определения); при полной компенсируемос-ти функция f(x) линейна; компенсируемость может оцениваться показателем

maxд/(x)/дxi - minд/(x)/дxi

Ф4

= 1 — max -

max| д/( x) / дxi|

— симметричное влияние факторов в целом может быть оценено показателем симметрии

„з = і - (max - 1)/Zmax ^x^.

V i, J, x д/( x)/дXj J! jj x д/( x) / дxj

Управлять асимметрией можно путем преобразования координат

i 1 О, X a. = 1

x{ = a. x, a.

Состоятельность, как соответствие требованиям по виду функции влияния шкалы от отдельных параметров, характеризуется двумя показателями:

— выпуклость вниз (насыщаемость) шкалы можно характеризовать показателем

/ тахд/(х)/3x1 - ттд/(х)/дх; \

Ф6 - ^п тр тах ац, тах д/( х) / дхг- - ащ min д/( х) / дх) + ,

где (•)+ означает неотрицательную часть выражения;

— монотонность шкалы может характеризоваться показателем

ф7 = minsign(cf(x)/3x;.)+.

i, X

Полноту шкалы можно оценивать показателем maxf( x) - minf( x)

X X

ф = -Т) .

Сепарабельность и соразмерность характеризуют свойства исходных параметров, по которым оценивается объект, можно оценивать характеристическими функциями. Сепарабельность можно оценивать показателем

Ф9 = 1 — maxsign(3xi/3x.)+.

i, j, x j

Соразмерность для параметров, имеющих априорно одинаковое влияние на оценку, оценивается показателем

Ф10 = min(max(3f(x)/3xi)/max(cf(x)/3xj)).

i X j, X j

Для элементарной двухпараметрической свертки дополнительных (комплиментарных) факторов, представленной функцией f1(x1, x2) = min(x1, x2),

имеем Ф1 = Ф2 = Фз = 1, Ф4 = 0, Ф5 = ф6 = Ф7 = ф8 = = Ф9 = ф10 = 1. Для элементарной двухпараметрической свертки взаимозаменяемых факторов, представленной функцией f2(x1, x2) = (x1 + x2)/2,

имеем Ф1 = Ф2 = 1, Фз = 0, Ф4 = Ф5 = ф6 = Ф7 = ф8 = = Ф9 = ф10 = 1. Эти две функции можно рассматривать в качестве базовых элементов в библиотеке стандартных сверток для верификации многомерных шкал оценивания.

В рамках метода векторной стратификации удобно применять библиотечный набор матриц бинарной свертки. Для их представления примем следующие обозначения бинарных отношений: x1 > x2 означает, что первый аргумент сильнее влияет на свертку, чем второй, x1 . x2 — влияет значительно сильнее, x1 = x2 — влияние одинаково, x1 L x2 — факторы дополнительны. Набор матриц для этих отношений имеет следующий вид:

— 1 2 3 4 5

1 1,0 1,5 2,0 2,5 3,0

2 1,2 2,0 2,5 3,0 3,5

3 1,4 2,2 3,0 3,5 4,0

4 1,6 2,4 3,2 4,0 4,5

5 1,8 2,6 3,4 4,2 5,0

Отношение Xj > x2

— 1 2 3 4 5

1 1,0 1,6 2,4 3,1 4,0

2 1,2 2,0 2,8 3,6 4,0

3 1,4 2,4 3,0 3,8 4,3

4 1,6 2,6 3,2 4,0 4,5

5 1,8 2,7 3,4 4,2 5,0

Отношение Xj . X2

— 1 2 3 4 5

1 1,0 1,0 1,0 1,0 1,0

2 1,0 2,0 2,0 2,0 2,0

3 1,0 2,0 3,0 3,0 3,0

4 1,0 2,0 3,0 4,0 4,0

5 1,0 2,0 3,0 4,0 5,0

Отношение xj L X2

— 1 2 3 4 5

1 1,0 1,5 2,0 2,5 3,0

2 1,5 2,0 2,5 3,0 3,5

3 2,0 2,5 3,0 3,5 4,0

4 2,5 3,0 3,5 4,0 4,5

5 3,0 3,5 4,0 4,5 5,0

Отношение Xj = X2

2. ТЕСТИРОВАНИЕ СОГЛАСУЮЩИХ ШКАЛ

Рассмотрим процесс согласования решений в ситуации, когда в рамках единой системы планов или мероприятий необходимо решать несколько задач, формально задаваемых различными критериями [7]. Как правило, эти задачи требуют различных конфигураций обеспечивающих средств, что порождает конфликтную ситуацию.

Примерами задач целевого планирования могут быть задачи повышения экономического состояния региона, повышения социального обеспечения, сохранения и улучшения экологии региона, решаемые путем оптимизации регионального бюджета.

На основе описанной структуры схемы оценивания (либо единой для всех задач, либо набора разных структур подобного вида, соответствующих набору задач) формируются комплексные критерии оценивания и принятия решений Дх),

i = 1, ..., п, где х — вектор объемов финансирования статей бюджета, i — номер задачи целевого планирования. Общим для всех структур схемы оценивания является множество концевых вершин, соответствующих объемам финансирования статей бюджета.

Изолированное оптимальное решение каждой из целевых задач

тах/.(х)|Xх. т S, i = 1, ..., п, (1)

]

где S — заданная сумма бюджета, порождая п распределений бюджета по статьям, может приводить к конфликту по финансовым ресурсам. Требуется так распределить бюджет по статьям, чтобы изменение текущего состояния региона в результате выполнения плана (бюджета) не приводило к ухудшению ни одной из оценок целевых задач /(х), а пропорции приращений критериев максимально соответствовали заданным экспертным предпочтениям (приоритетам).

Рассматривается итеративный двухэтапный процесс оценивания и принятия решений, когда на первом этапе итерации (на уровне оценивания) для каждой из п управленческих задач строится схема оценок, порождающая набор критериев /(х), i = 1, ..., п, а на втором этапе (на уровне согласования) формируется согласованная оценка в виде суперпозиции

/(х) = F(fl(x), ..., /п(х)).

Здесь х е Ят — вектор состояния объекта. Принятие решений представляется как переход из начального состояния х0 в более предпочтительную точку х в соответствии с критерием /(х), представляющим собой композицию критериев набора /(х), которая согласована с предпочтениями эксперта. Цель решающего правила состоит в максимизации согласованной оценки.

Перемещение Ах в предпочтительное состояние х не должно ухудшать ни одного критерия /(х), что соответствует принципу консенсуса. Кроме того, компоненты этого перемещения должны зависеть от предпочтений эксперта, которые будем задавать параметрамир., i = 1, ..., п. Эксперт в процессе согласования схем оценивания получает дополнительную информацию о том, насколько корректны его предпочтения при совместном использовании ресурса системы для решения набора управленческих задач.

Линеаризуем функцию свертки Р:

/(хо + Ах) = X ЗР/д/.(/.(хо + Ах) - /(хо)) + /Ц),

*

считая, что все рассматриваемые критерии /(х) представляются гладкими по направлению функциями. Обозначим а. = ЗР/с/. — величины, которые необходимо определить для аппроксимации функции /(х) с помощью экспертных данных в точке х0.

Для выбора предпочтительного приращения Ах представим его как выбор направления v и шага по нему h, т. е. Ах = vh. Для начала, считая аг- заданными, будем решать задачу

g(v, h) = Xаг-f(x0 + vh) ^ max.

i v, h

Чтобы выбрать предпочтительное направление v методом скорейшего спуска, решим задачу

gh(v) = X aiXl- vj^ max i j dxj vj

при условии X v2 = const.

i

Решением этой задачи с точностью до множителя является вектор v * с компонентами

vj = X aiJxj ■ J=1’--"’

откуда

v * = X afx).

i

Определение коэффициентов ai использует экспертные предпочтения критериев pt, i = 1, ..., n, а также принцип консенсуса,

(v *, Vf) = X a/Vf, Vf) l 0.

j

Будем считать, что экспертные предпочтения нормированы:

XPi = 1, Pi l 0, i = 1, ..., n,

i

а коэффициент a. будем интерпретировать как вклад i-й задачи в комплексный проект. Тогда для определения коэффициентов вклада a* на основании экспертных предпочтений можно решать две оптимизационные задачи.

Первая постановка задачи соответствует поиску максимально близких приоритетов к значениям, заданным экспертом:

X (a. - P.)2 ^ min (2)

i а

при ограничениях

Xa/Vf, Vf) l 0,

j

Xa;- = 1, at l 0, i = 1, ..., n.

i

Вторая постановка оптимизационной задачи имеет смысл поиска вкладов задач планирования в комплексный проект, максимально согласован-

ных по критериям решаемых задач (имеющих максимальную оценку эффективности распределения х0 + Ах).

у ^ тах (3)

а

при ограничениях

X(а, - р,)2 т 8

.

X а(/ V/) > у,

у

X а, = 1, а, 1 0, i = 1, ..., п.

.

Разности а* — р{ характеризуют как степень конфликтности соответствующих критериев, так и уровень компетентности эксперта применительно к корректности назначения предпочтений и взаимовлиянию управленческих задач.

Если в задаче (2) ограничитель близости к экспертным приоритетам 8 задать достаточно большим (например, 8 = 1), то решение а*, i = 1, ..., п, не будет зависеть от приоритетов эксперта р., что соответствует приоритетам, наиболее согласованным с организационной структурой целевого планирования, заданной набором схем оценивания. Такая ситуация определяет равновесное состояние системы, если величины V/. вычислены в точке, соответствующей этому состоянию.

При переходе ко второму шагу итерации решается задача поиска оптимального шага к по направлению V *:

Xа/х0 + V*к) ^ тах|Xх. т S. (3)

После перехода в новое состояние х1 = х0 + V *к * принимается решение, продолжить изменение состояния системы, применяя операции (2) и (3) или остановиться. Критерием остановки может служить малость отличия функций свертки на последовательных итерациях | /(х0) — /(х1)| < е, е ^ 0.

Начальное состояние х0 (если нет другой информации) удобно выбрать, как взвешенное распределение для оптимальных решений целевых задач вида (1) поиска распределений х* с весами, соответствующими приоритетам эксперта р., i = = 1, ... , п.

х0 = XPi х *г.

.

Предполагая малость приращения V *к *, решение х * = х0 + V *к * задачи (3) приближенно можно представить в виде

х * = X а, х *г,

.

.

где х* — оптимальные решения для критериев /(х), i = 1, ..., п. Действительно, решение х * удовлетворяет ограничению задачи (3) и в силу согласованности компонент а*, i = 1, ..., п лежит в окрестности точки х0 + V *к *.

Итеративный процесс в пределе останавливается в точке оптимума Парето для многокритериальной задачи

тах/(х), i = 1, ..., п|Xх. т S,

поскольку малое отклонение от оптимальной точки х * приводит к уменьшению комплексного критерия /(х), а значит и одного из функционалов/(х). Положение точки выбора х * зависит как от начального состояния объекта, так и от предпочтений эксперта в процессе принятия решений.

Результаты поиска гармонизированных приоритетов а, при различных ограничениях на отклонение 3 от заданных экспертных значений р1 обычно дают разные значения меры согласованности критериев, имеющей вид у/ушах. При минимальном отклонении 8, получаемом при решении задачи (2), эта мера равна 0, а при максимальном отклонении, получаемом при решении задачи (3), она равна 1. В первом случае предпочтения эксперта учитываются максимально, в последнем случае они полностью игнорируются. В связи с этим, бывает целесообразно выбирать ограничение на отклонение 8 между минимальным и максимальным значениями. В алгоритме отладки многопараметрических непрерывных шкал слишком боль-

| Комплексная оценка заявки на разработку программных средств

Функциональная эффективность и реализуемость

Функциональная эффективность

Полнота учета требований Заказчика

Качество реализации ПО

Реализуемость технических решений

Позитивный опыт работы

Позитивный опыт выполнения аналогичных работ

Позитивный опыт работ в интересах заказчика

Квалификация Участника

Потребные объемы финансирования

Стоимость работ по модернизации ПО

Стоимость закупаемого лицензионного ПО

Рис. 1. Схема комплексного оценивания конкурсной заявки в конкурсе исполнителей

5

4.5 4

3.5 3

2.5 2

1.5 1

0,5

0

■ Полнота учета требований Заказчика Качество реализации ПО

Позитивный опыт выполнения аналогичных работ

Позитивный опыт работ в интересах Заказчика ;

■ Квалификация Участника . Стоимость работ по модерназации ПО

Стоимость закупаемого лицензионного ПО

6

2

7

8

Рис. 2. Зависимость комплексной оценки проекта от исходных параметров

шое значение минимального отклонения 8 служит индикатором плохого результата тестирования и приводит к необходимости уточнения многомерных шкал или предпочтений эксперта.

ЗАКЛЮЧЕНИЕ

Исследования зависимости обобщающей оценки от исходных параметров в широком диапазоне их изменения показали адекватность применяемого метода построения многопараметрических шкал. В качестве примера рассмотрим схему (рис. 1) комплексного оценивания, предназначенную для определения выигравшей конкурсной заявки в конкурсе исполнителей на изготовление программного обеспечения (ПО).

На основании этой схемы была построена верифицированная шкала оценивания. На графиках (рис. 2) показаны значения обобщающей оценки проектов при вариации каждого (по отдельности) из исходных параметров в диапазоне от 0 до 10 баллов. Значения всех остальных параметров при этом были зафиксированы.

Результаты описанного параметрического анализа показывают, что используемые в рамках непрерывных многопараметрических шкал система показателей, а также схема оценивания обладают требуемыми свойствами устойчивости, критичности, соответствия, состоятельности. Выполнение перечисленных требований обеспечивает прозрачную интерпретацию результатов оценивания, их непротиворечивость, возможность использования оптимизационных процедур при анализе результатов оценивания и формировании рекомендаций для претендентов.

Решаемая на этапе тестирования многокритериальная задача принятия согласованных решений относится к области исследования операций и формально может рассматриваться как игра с не-

противоположными интересами [8]. Специфика рассматриваемой проблемы состоит в том, что решения принимаются как на основании прогнозов их воздействия на различные результирующие показатели (критерии локальных задач целевого планирования) с учетом параметров текущего состояния управляемого объекта, так и с учетом предпочтений лица, принимающего решения. Состояние объекта может изменяться и под воздействием управляющих воздействий, и под воздействием внешних факторов. Поэтому процесс принятия решений итеративный и носит характер скользящего планирования. Экспертные данные при этом используются и на этапе построения критериев, и на этапе согласования решений с учетом этих критериев.

ЛИТЕРАТУРА

1. Гермейер Ю.Б. Введение в теорию исследования операций. — М.: Наука, 1971.

2. Экланд И. Элементы математической экономики. — М.: Мир, 1983.

3. Глотов В.А., Павельев В.В. Векторная стратификация. — М.: Наука, 1984.

4. Модели и механизмы управления безопасностью / В.Н. Бурков, Е.В. Грацианский, С.И. Дзюбко, А.В. Щепкин — М.: СИНТЕГ, 2001.

5. Анохин А.М, Гусев В.Б., Павельев В.В. Комплексное оценивание и оптимизация на моделях многомерных объектов. — М.: Ин-т пробл. управления, 2003.

6. Саати Т. Принятие решений. Метод анализа иерархий / Пер. с англ. — М.: Радио и связь, 1993. — 320 с.

7. Гусев В.Б. Согласование критериев принятия решений при целевом планировании // Сибирский журнал индустриальной математики. — 2005. — Т. VIII, № 2 (22). — С. 32—45.

8. Гермейер Ю.Б. Игры с непротивоположными интересами. — М.: Наука, 1976.

Ш (495) 334-88-21, e-mail: gusvbr@ipu.ru

Статья представлена к публикации членом редколлегии

Г.Г. Малинецким. □