Научная статья на тему 'Система выбора и настройки метода агрегирования как элемент инструментария СППР в сфере региональной политики'

Система выбора и настройки метода агрегирования как элемент инструментария СППР в сфере региональной политики Текст научной статьи по специальности «Математика»

CC BY
343
229
i Надоели баннеры? Вы всегда можете отключить рекламу.
Ключевые слова
СИСТЕМЫ ПОДДЕРЖКИ ПРИНЯТИЯ РЕШЕНИЙ / РЕГИОНАЛЬНАЯ ЭКОНОМИКА / МЕТОДЫ МНОГОКРИТЕРИАЛЬНОГО АГРЕГИРОВАНИЯ / ТЕОРИЯ ПРИНЯТИЯ РЕШЕНИЙ / SIR / ELECTRE / AHP / PROMETHEE / VIKOR

Аннотация научной статьи по математике, автор научной работы — Заруцкий Святослав Александрович

В работе проводится анализ современных методов многокритериального агрегирования с целью создания формализованной системы выбора и настройки таких методов для применения в области региональной политики. В качестве основания выбора разрабатывается единая процедура агрегирования, включающая распространенные методы как свои частные случаи.

i Надоели баннеры? Вы всегда можете отключить рекламу.

Похожие темы научных работ по математике , автор научной работы — Заруцкий Святослав Александрович

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.
i Надоели баннеры? Вы всегда можете отключить рекламу.

Текст научной работы на тему «Система выбора и настройки метода агрегирования как элемент инструментария СППР в сфере региональной политики»

Система выбора и настройки метода агрегирования как элемент инструментария СППР в сфере региональной политики.

Aggregation method selection and tuning system as an element of DSS in the sphere of regional economy.

Заруцкий Святослав Александрович

преподаватель кафедра экономической кибернетики Южного Федерального Университета Sviatoslav.Zarutskiy@gmail.com

Аннотация

В работе проводится анализ современных методов многокритериального агрегирования с целью создания формализованной системы выбора и настройки таких методов для применения в области региональной политики. В качестве основания выбора разрабатывается единая процедура агрегирования, включающая распространенные методы как свои частные случаи.

Аннотация (перевод на англ. язык)

Paper unveils analysis of modern MCDM methods with the purpose to create formal system for choice and tuning of those methods in application to regional policy making. As the basis for this choice unified aggregation procedure is developed, that includes widespread particular methods as its special cases.

Ключевые слова: системы поддержки принятия решений, региональная экономика, методы многокритериального агрегирования, теория принятия решений, SIR, ELECTRE, AHP, PROMETHEE, VIKOR.

Keywords: decision support systems, regional economy, MCDM, MCDA, decision theory, SIR, ELECTRE, AHP, PROMETHEE, VIKOR.

Введение

Рост мирового интереса к методам интегрального оценивания и в частности методам агрегирования объясняется возможностью

формализованного решения на их основе сложных многоаспектных проблем, а также, в случае повторяющихся решений, организации эффективного механизма индикативного планирования и контроля. Это определило ускоренное распространение в последние десятилетия различных

индикаторов, рейтингов и ранжировок как инструментов оценки социальноэкономических систем (инвестиционные рейтинги фирм, стран, регионов, рейтинги университетов, экологические рейтинги, рейтинги развития здравоохранения и т.д.). Такого рода оценки используются для организации и формализации процесса принятия решений при управлении с обратной связью как внутри оцениваемой системы, так и вне ее.

Однако, несмотря на большое число существующих методов агрегирования и развитость их математического аппарата, вопрос о выборе и настройке конкретного метода до сих пор остается открытым. Отдельные научные школы разрабатывают собственные подходы и собственный программный инструментарий, что при решении конкретной задачи ставит ЛПР перед непростым выбором подхода, методики его применения и программного обеспечения для получения оценок. Этот выбор также усложняет определенная специфика, которую имеет использование интегрального оценивания для анализа региональных систем. На этом уровне проявляются как новые задачи, так и особенности методологии. Случайные методологические решения могут приводить к различным результатам, что сделает получаемые оценки непрозрачными или несоответствующими решаемой проблеме и таким образом понизит эффективность использования таких оценок в управлении.

В этой статье будут описаны результаты исследования по анализу современных методов многокритериального агрегирования и их применения для оценивания региональных социально-экономических систем (далее, СЭС). На основе рассмотрения алгоритмов методов и сопоставления отдельным их частям смыслового описания влияния этой части на результаты оценивания, было проведено обобщение набора популярных методов и создана единая процедура агрегирования, которая может использоваться в качестве базы для выбора и настройки конкретного метода. Такая процедура в свою очередь является эффективным методическим

инструментом для использования в СППР, поддерживающей решения в области региональной политики.

Обзор практики использования многокритериального агрегирования в региональной политике.

Рассмотрение практических исследований по оценке региональных СЭС, а также соответствующих методик государственной власти показало, что доминирующим методом, применяемым для комплексного анализа и оценки таких систем, является исключительно рассмотрение множества частных показателей. Тогда как переход от выводов по частным показателям к общему выводу относительно перспективности, уровня и эффективности развития системы в целом не формализуется ЛПР. Дополнение такого рассмотрения частных показателей формализованной процедурой агрегирования для получения интегральных индикаторов позволяет повысить прозрачность процесса получения конечных оценок, их объективность, что приводит к росту качества базирующихся на них решений, а также облегчает их проверку и контроль. В особенности, интегральные индикаторы необходимы при управлении в социальных сферах (оценке уровня развития образования, здравоохранения, качества жизни и т.д.), где они являются единственным способом комплексной оценки уровня и динамики развития регулируемой системы, агрегируя отдельные качества, которые не имеют монетарного выражения.

В пределах подхода многокритериального агрегирования существует значительное методологическое разнообразие. Для его структуризации и детального анализа далее используется триада понятий: методика, метод, функция (рис. 1). Метод описывает полную формализацию задачи оценивания, а также алгоритм получения всех ее элементов. Его главный элемент - функция синтеза частных предпочтений - характеризует связь между частными и агрегированными оценками. Для выбора из множества методов и настройки параметров метода под конкретную проблему может использоваться методика.

Рисунок 1 - Уровни классификации методического инструментария интегрального оценивания

В ходе исследования проанализированы методы, используемые для интегрального оценивания региональных СЭС в РФ (в первую очередь, субъектов федерации). Применяемые на практике методы можно отнести к трем основных группам: ранговым рейтингам, аддитивным методам и методам классификаций. С другой стороны, в рамках теории принятия решений существует множество более развитых и довольно глубоко проработанных методов агрегирования. Что указывает на необходимость внедрения современных достижений теории принятия решений в инструментарий интегрального оценивания региональных СЭС. Для этого требуется изучить возможности использования многокритериальных методов агрегирования в сфере оценивания СЭС и региональной политики.

Возможности и ограничения использования методов агрегирования для целей оценивания региональных СЭС.

Рассмотрение существующие в литературе схем процесса принятия решений показало, что в силу внутренней связи принятия решений и оценивания, методы многокритериального принятия решений могут использоваться для интегрального оценивания СЭС. Но из-за особенностей, характерных для оценивания (принятие множественных решений на основе одной группы оценок, отложенный характер решений, отделенность ЛПР от методиста по оцениванию, конечное число объектов оценивания), и для оценивания региональных СЭС, в частности, не все методы подходят для применения на практике. Более того, рассмотрение практических работ, использующих многокритериальное агрегирование для оценки региональных СЭС, показало, что выбор метода оценивания проводится ЛПР довольно субъективно. В соответствие с этим, сделан вывод о необходимости

проведения анализа элементов в задаче агрегирования для совокупности методов многокритериального принятия решений. Результаты такого анализа можно использовать в качестве основания для выделения методов, которые могут применяться при многокритериальном оценивании СЭС, а также для выбора метода под конкретную задачу.

На первом этапе анализа имеет смысл описать элементы задачи агрегирования и представить её обобщенную формализацию. В качестве основных элементов предлагается выделить: целевую постановку задачи - Т, множество альтернатив - А, множество критериев - С, каждый из которых может принимать значения на множестве оценок по критериям (?(С) ,

множество методов измерений (шкал) - М, отображение множества альтернатив во множество оценок по критерия - Р . А —> , систему

предпочтений критериев - Р, систему отношений альтернатив - R и функцию синтеза частных предпочтений ЛПР - П\ ((?,Р) -*■ Д. Тогда в общем виде

задача агрегирования может быть представлена в виде набора (кортежа) указанных элементов < Т, А, С, М, Р, Р , Р, П >.

На втором этапе, для первичной оценки конкретных методов мы рассмотрели их существующие классификации. Основные классы методов многокритериального агрегирования: подход единого синтезирующего

критерия, подход ограниченной пороговой предпочтительности, подход локального выбора посредством проб и ошибок и мультикритериальное математическое программирование. На третьем этапе была рассмотрена задача оценивания. Её общий вид минимально отличается от вида задачи агрегирования отсутствием различных целевых постановок, т.к. в первой не проводится выбор альтернатив, а лишь рассчитываются оценки для каждой из них. Система отношений альтернатив R должна быть полным порядком, и в целом, если и используется, становится подчиненной для функции синтеза оценок Б: (1Г(Л)ГР') —* ЩМ) , так что ее можно исключить из набора

элементов: < А, С, М, ¥, Р, О >. Однако, для задачи оценивания характерны

определенные ограничения на свойства оставшихся элементов, рассмотрение которых позволит выделить подходящие для оценивания методы

агрегирования.

В оценивании множество альтернатив превращается во множество объектов оценки <А = {а1га2 ...ат], которое на практике для региональных

СЭС дискретно и конечно. Оценки по критериям С = [с1гс2 не задаются

функционально, а получаются непосредственно (на основе показателей статистики или экспертно). Чаще всего оценки F представляются в виде матрицы «объект-свойство» или матрицы абсолютных измерений т объектов

в п-мерном пространстве критериев Т = \fijj. €1Е. Альтернативным

является представление «объект-объект» или куб попарных сравнений

•Т ж-ь _ ™ „ь „к ск ¥ \-/1 ■ ■ т ~

^ = -.Г:. ; . __ ,Г.‘. с Гл' = Гл . Гл = 1, Vк,].:, где 1 - тождественный элемент в

данном пространстве. Иногда в качестве базовых оценок используются

рейтинги и ранжировки, т.е. порядковые оценки, тогда ЕМ. Система

предпочтений критериев Р для нефункционально заданных альтернатив и оценок сводится к матрице весовых коэффициентов значимости (весов) критериев. Она может рассчитываться любым комплексным образом или задаваться ЛПР напрямую. Часто также используется упрощающее предположение о постоянстве весов независимо от значений по критерию, и в этом случае матрица превращается в вектор мг Е 1” . Результирующий

вектор индикаторов получается как результат применения функции синтеза к оценкам и весам критериев с1 = П (Т, IV). Для него предпочтительно (хотя и

не всегда возможно) использование количественной шкалы с! 6 Жтп:.

Варианты функций синтеза в методах агрегирования довольно разнообразны. Одной из наиболее простых и распространенных является

линейная функция свертки, используемая, например, в методе анализа иерархий. Она одновременно агрегирует оценки по критериям и иерархическую систему весов:

■■■ ^ ч,-_. ■■■ (1)

Л=1 А=1

где - интегральная оценка 1-го объекта, h - число уровней в иерархии критериев

- число элементов (критериев) на уровне р

*£ - коэффициент важности критерия }р_± уровня иерархии р — 1

относительно стоящего над ним критерия /р уровня иерархии р,

и^ - коэффициент важности критерия ;"т уровня иерархии т относительно цели выбора

Переход от общей задачи агрегирования к задаче оценивания также может налагать определенные ограничения на выбор функции синтеза. Однако общие классификации функций синтеза недостаточно разработаны. Более того, такие функции являются частью общих алгоритмов методов и обычно не выделяются из них при рассмотрении и описании метода. Таким образом, для проведения анализа функций синтеза предпочтений требуется провести их выделение из алгоритмов конкретных методов.

Функции синтеза: выделение из общих алгоритмов агрегирования и декомпозиция на элементы.

Возможность использования определенного метода агрегирования для конкретной проблемы принятия решения определяется соответствием между свойствами элементов задач агрегирования, для которых может быть применен данный метод, и возможностью формализации данной проблемы с удовлетворением этих свойств. Основные свойства, которым уделяется внимание при выборе метода: целевая постановка задачи, размерность множества альтернатив и методы его формирования, выражение и метод получения оценок по критериям. Обоснованному выбору функции синтеза на

практике не уделяется заметного внимания. Можно утверждать, что функция синтеза предпочтений, являясь элементом задачи агрегирования, должна также определяться свойствами проблемы агрегирования, а именно, удовлетворять адекватным для конкретной проблемы и ЛПР предположениям о характере агрегирования, т.е. замещения оценок по критериям в интегральном индикаторе.

Разработка основания для выбора метода агрегирования на основе свойств его функции синтеза требует выделения самих функций из алгоритмов методов, проведения их сравнительного анализа и сопоставления отдельным функциям синтеза свойств агрегирования, которым они удовлетворяют. На первом этапе был проведен анализ функций синтеза, которые используются и могут использоваться в отдельных классах методов (в соответствие с разработанной автором классификацией). Было установлено, что методы подхода локального выбора не могут использоваться для оценивания, т.к. в методах этого класса лучшая альтернатива выбирается напрямую ЛПР и построение оценок для всего множества альтернатив не производится.

Рассмотрение трёх остальных классов показало, что разнообразие методов многокритериального принятия решений обусловлено разнообразием способов получения информации от ЛПР, генерированием альтернатив и алгоритмов оптимизации, тогда как число принципиально различных функций синтеза частных предпочтений ЛПР относительно невелико. Хотя в классе методов мат. программирования и даются оценки для всех альтернатив, вид функций синтеза в методах этого класса значительно ограничен в силу необходимости использования аппарата оптимизации. Для двух основных подклассов этого класса (Goal Programming и Compromise programming) использующимся в них функциям синтеза можно сопоставить методы мультипараметрического принятия решений, которые реализуют аналогичные функции (линейные и нелинейные свертки). Таким образом, можно заключить, что методы многоцелевой оптимизации не

обладают уникальными функциями синтеза предпочтений, которые не могли бы быть применены в методах мультипараметрического принятия решений (МППР).

Основываясь на этом, на втором этапе были проанализированы алгоритмы наиболее распространенных методов агрегирования класса МППР (AHP, TOPSIS, VIKOR, SIR, ELECTRE, PROMETHEE) и выделены их функции синтеза. Сначала рассмотрим методы первого подкласса МППР -подхода единого синтезирующего критерия. Основной характерной чертой AHP является приведённая выше иерархическая функция синтеза. Однако иерархический синтез весовых коэффициентов следует относить к системе предпочтений критериев P. Тогда для известных весов функция синтеза AHP становится простой линейной свёрткой, предполагающей неограниченное аддитивное замещение оценок. В TOPSIS используется аналогичная функция синтеза в виде аддитивной свёртки квадратов оценок, что предполагает переменную предельную норму замещения между критериями. В методе VIKOR также применяется аддитивно нелинейная функция синтеза, но степень нелинейности задается в ней параметром. Методы второго подкласса

- подхода ограниченной пороговой предпочтительности - обладают более сложными функциями синтеза, которые в силу этого обычно описываются алгоритмически. Основное свойство, характерное для функций этих методов

- знаковая дифференциация, т.е. расчёт отдельных оценок для превосходства и отставания каждой конкретной альтернативы по сравнению другими. Другое важное отличие, впервые введенное в группе методов ELECTRE, -это применение одной (по выбору ЛПР) из набора нормировочных функций для оценок. Однако, в силу того, что такие функции применяются к оценкам по отдельным критериям независимо, их следует относить не к функции синтеза, а скорее считать частью системы предпочтений критериев. Алгоритм синтеза метода PROMETHEE более сложен, и его необходимо проанализировать отдельно. В нём можно выделить пять характерных этапов агрегирования. Из них только два этапа (второй и пятый) участвуют в

формировании и синтезе оценок превосходства и отставания. Первый и третий этапы являются исключительно утилитарными и описывают переход от индивидуальных оценок альтернатив к попарным сравнениям и обратно, т.е. не приводят к качественным изменениям интегральных оценок. Четвёртый этап метода аналогичен обычному агрегированию оценок по критериям, в PROMETHEE для этого используется простая линейная свёртка. Таким образом, в этом методе возможна вариация отдельных элементов алгоритма синтеза для изменения свойств агрегирования. Такой вариацией является группа методов SIR, обобщающая PROMETHEE. Конкретно в SIR-TOPSIS на четвертом этапе применяется нелинейная свёртка, что делает алгоритм агрегирования этого метода одновременно удовлетворяющим двум свойствам: отдельному рассмотрению уступок и превосходства, а также нелинейному замещению оценок, аналогично методу TOPSIS.

Далее анализируются алгоритмы синтеза группы методов ELECTRE. Наиболее адекватным для применения в оценивании из этой группы является метод ELECTRE III. Подробное сравнение алгоритма агрегирования этого метода с алгоритмами агрегирования SIR и PROMETHEE показало, что процесс синтеза в ELECTRE III можно представить в виде указанных пяти этапов. Последовательность этапов будет немного изменена, однако это принципиально не влияет на свойства агрегирования. При синтезе критериев в ELECTRE используется оригинальная функция, которая линейно агрегирует превосходства и мультипликативно - отставания альтернатив. Г лавной особенностью метода является процесс дистилляции, используемый на третьем этапе, который перестает быть утилитарным. В ходе дистилляции происходит вероятностный срез нечеткого отношения на множестве альтернатив, что переводит количественные оценки в качественные, повышая устойчивость результатов к шуму и ошибках в оценках.

Таким образом, мы можем выделить три существенных свойства (а также их вариации) для функций синтеза рассмотренных методов (см. далее

и в Табл. 2). Предложенная декомпозиция функций синтеза в их алгоритмическом представлении для методов пороговой предпочтительности позволяет заменять элементы функций, соответствующие отдельным этапам, для получения требуемого набора свойств. Это открывает дорогу для создания гибридных алгоритмов агрегирования.

Единая процедура интегрального оценивания

Рассмотренная формализация задачи агрегирования и анализ её элементов, в особенности, функций синтеза, позволяет создавать гибридные методы, обладающие набором свойств существующих методов, комбинируя элементы последних. Например, возможно добавление порогового нормирования оценок в метод VIKOR или использование функции синтеза TOPSIS вместе с иерархическим синтезом весов, применяемом в AHP. Однако наибольший интерес представляют гибридные функции синтеза. В работе предложен новый метод агрегирования, обладающий функцией синтеза, полученной комбинированием элементов функций синтеза SIR, ELECTRE и VIKOR. Такой метод использует три элемента в своем алгоритме синтеза: дистилляцию, знаковую дифференциацию и нелинейное

нормирование - обладая, таким образом, всеми тремя выделенными свойствами агрегирования.

Большее разнообразие методов многокритериального оценивания позволяет обеспечить лучшее моделирование предпочтений ЛПР, и, следовательно, способствует принятию более адекватных решений. Однако растущее число методов и их вариаций ставит перед экспертом вопрос обоснованного выбора и настройки конкретного метода. Для его решения предлагается разработка единой процедуры многокритериального оценивания, которая бы обобщала рассмотренные методы. Мы произвели последовательность обобщений методов. Сначала было доказано, что функция синтеза VIKOR является обобщением квадратичной функции TOPSIS и линейной в AHP. Добавление в VIKOR нормировок оценок и иерархической функции синтеза делает полученный метод обобщением

указанных трёх. Добавление указанных элементов в SIR-SAW и SIR-TOPSIS делает группу методов SIR обобщением для AHP, TOPSIS и PROMETHEE. Можно предложить дальнейшее обобщение SIR-VIKOR, в котором в процедуру SIR добавлен элемент композитной Х-метрики VIKOR на этапе агрегирования по критериям. Последнее обобщение реализовано через добавление элемента дистилляции из метода ELECTRE III на этапе агрегирования попарных сравнений. Результатом цепи обобщений является единая процедура многокритериального оценивания. Саму процедуру можно описать как пошаговый процесс преобразования исходных данных, состоящий из семи этапов. Характер обработки на каждом из них определяется выбранным алгоритм-элементом (рис. 2).

Рисунок 2 - Этапы единой процедуры многокритериального оценивания

Все рассмотренные методы можно представить в виде одного из вариантов выбора элементов в указанном семишаговом процессе. Разработанная обобщенная процедура позволяет легко реализовать все рассмотренные методы программно в виде единого реконфигурируемого алгоритма, состоящего из элементов. Она может служить базой для классификаций методов и основой для их выбора. Настройка единой процедуры агрегирования через включение или выключение её элементов, которым соответствуют конкретные свойства, более прозрачна, чем выбор между различными несвязанными методами. Как было показано, подобные обобщения также могут использоваться для разработки новых гибридных методов. Конкретно, такая процедура обобщает 36 различных функций синтеза.

Однако в случае, если ЛПР или эксперт по оцениванию недостаточно разбираются в спецификации и отличиях различных методов агрегирования, выбор из большого числа вариаций процедуры и установление настраиваемых параметров могут представлять для них сложность. Для решения этой проблемы была разработана упрощенная методика настройки обобщенной процедуры, в которой выбор производится из 8 ключевых вариантов функции синтеза на основе ответов эксперта на три вопроса вида «да-нет». Ответ на каждый вопрос включает или выключает один из трёх ключевых алгоритмических блоков (соответствующих трём существенным свойствам функций синтеза):

1) Нелинейное нормирование - введение приоритета сбалансированных альтернатив перед выдающимися, но не сбалансированными

2) Знаковая дифференциация - постулирование того, что превосходство и отставание альтернативы перед другими не полностью замещаемы

3) Дистилляция - уменьшение точности итогового сравнения в предположении о зашумленности данных

Такое упрощенное представление процедуры также позволило создать более прозрачную классификацию методов (Таблица 2).

Таблица 1 - Представление различных методов многокритериального оценивания с точки зрения присутствия алгоритмических блоков

Методы Нелинейное нормирование Знаковая дифференциация Дистилляция

WSM О О О

ЛНР О О О

VIKOR X О О

TOPSIS X О О

PROMETHEE О X О

SIR X X О

ELECTRE О X X

SIR-ELECTRE X X X

где X - элемент присутствует О - элемент отсутствует

Использование модуля интегрального оценивания в СППР

Разработанные в рамках исследования процедура, методы и методики многокритериального агрегирования могут использоваться для повышения качества, обоснованности и прозрачности принятия решений в области управления региональными СЭС. Однако высокая трудоемкость расчетов, работы с данными и параметрами алгоритмов делает необходимой программную автоматизацию методов оценивания. Обзор существующих приложений интегрального оценивания показывает, что ПО, которое позволяло бы эксперту удобно работать с основными методами агрегирования одновременно, на данный момент отсутствует.

Для решения этой проблемы предлагается реализация развитых теоретических оснований и методического инструментария в программном продукте. Соответствующий программный модуль поможет эксперту в проведении вычислений по построению интегральных оценок, а также во всех подготовительных и дополнительных задачах, которые могут возникнуть до или после этих вычислений (работа с данными, их первичная

обработка, визуализации информации и т.п.). Наилучшим образом он мог бы использоваться как элемент СППР для включения интегрального оценивания в комплексный процесс принятия решений в области социальноэкономической политики, проводимой государственными структурами, или при управлении в крупных организациях. Использование модуля позволит повысить надежность и качество решений, а также ускорить процесс оценивания и сделать его более наглядным.

Заключение

Включение методов многокритериального агрегирования в процессы управления региональной политикой позволит формализовать сложные повторяющиеся задачи принятия решений. Однако отсутствие объективных оснований для выбора и настройки метода агрегирования мешает такой формализации. Проведенный анализ и предложенная в работе единая процедура агрегирования позволяют создать такое основание. Методика настройки процедуры, основанная на объективных свойствах задачи принятия решения, позволяет снизить субъективность в методических вопросах. Основываясь на этом возможно снижение субъективности и повышение прозрачности и в содержательном плане для конкретных механизмов принятия решений. Это открывает возможности по их последовательному улучшению за счет контроля и рефлексии как со стороны самой системы управления (уровней выше и ниже), так и со стороны параллельных заинтересованных структур (гражданского общества, бизнес-сообществ и т.д.). При должном уровне качества формализации, многие задачи принятия решений также могут быть все более автоматизированы, что ускорит управление в области региональной политики и повысит его эффективность.

Библиографический список

1. Петровский А.Б. Теория принятия решений. М.: Издательский центр «Академия». 2009

2. Ларичев О.И. Теория и методы принятия решений, 3я ред. Москва: Логос. 2006

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.

3. Месропян К.Э. Современные подходы к измерению эффективности региональной экономики // Экономический анализ: теория и практика. июнь 2011. № 21(228). С. 34-41.

4. Кулыгин В.В., Месропян К.Э., Патракеева О.Ю. Методика оценки крупномасштабных инвестиционных проектов межрегионального характера // Региональная экономика: теория и практика. 2013. № 22. С. 8-18.

5. Xu Xiaozhan The SIR method: A superiority and inferiority ranking method for multiple criteria decision making // European Journal of Operational Research. 2001. № 131 pp. 587-602

6. Opricovic Serafim, Tzeng Gwo-Hshiung Compromise solution by MCDM methods: A comparative analysis of VIKOR and TOPSIS // European Journal of Operational Research. 2004. № 156 pp. 445-455

7. Buckshaw D. Decision Analysis Software Survey // ORMS-Today. 2010. вып. 37. № 5

i Надоели баннеры? Вы всегда можете отключить рекламу.