Научная статья на тему 'К вопросу решения многокритериальных задач на основе метода анализа иерархий'

К вопросу решения многокритериальных задач на основе метода анализа иерархий Текст научной статьи по специальности «Математика»

CC BY
1087
184
i Надоели баннеры? Вы всегда можете отключить рекламу.
Журнал
Cloud of science
ВАК
Область наук
Ключевые слова
МЕТОД АНАЛИЗА ИЕРАРХИЙ / МНОГОКРИТЕРИАЛЬНАЯ ЗАДАЧА / ФУНДАМЕНТАЛЬНАЯ ШКАЛА / ДЕСКРИПТИВНЫЙ ПОДХОД / НОРМАТИВНЫЙ ПОДХОД

Аннотация научной статьи по математике, автор научной работы — Митихин В.Г.

В работе на основе примеров использования и критики метода анализа иерархий в научной и учебной литературе выделены основные особенности применения этого метода для решения многокритериальных задач. Учет этих особенностей позволяет избежать противоречий и ложных контрпримеров, возникающих при поверхностном использовании основных средств метода анализа иерархий, к которым относятся фундаментальная шкала, дескриптивный и нормативный подход к решению задач.

i Надоели баннеры? Вы всегда можете отключить рекламу.
iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.
i Надоели баннеры? Вы всегда можете отключить рекламу.

On the issue of multi-criteria decision problems based on the Analytic Hierarchy Process

In this paper, based on examples from the scientific and educational literature and criticism of the use of the analytic hierarchy process describes the main features of the application of this method to solve multicriteria problems. Accounting for these features to avoid contradictions and false counterexamples arising from the use of the surface of fixed assets of the analytic hierarchy process, which include the fundamental scale, descriptive and normative approach to solving problems.

Текст научной работы на тему «К вопросу решения многокритериальных задач на основе метода анализа иерархий»

Cloud of Science. 2015. T. 2. № 4 http:/ / cloudofscience.ru ISSN 2409-031X

К вопросу решения многокритериальных задач на основе метода анализа иерархий

В. Г. Митихин

ФГБНУ «Научный центр психического здоровья» РАН 115522, Москва, Каширское шоссе, 34

e-mail: mvgmia@mail.ru

Аннотация. В работе на основе примеров использования и критики метода анализа иерархий в научной и учебной литературе выделены основные особенности применения этого метода для решения многокритериальных задач. Учет этих особенностей позволяет избежать противоречий и ложных контрпримеров, возникающих при поверхностном использовании основных средств метода анализа иерархий, к которым относятся фундаментальная шкала, дескриптивный и нормативный подход к решению задач.

Ключевые слова: метод анализа иерархий, многокритериальная задача, фундаментальная шкала, дескриптивный подход, нормативный подход.

1. Введение

В настоящее время наиболее естественным и эффективным методом решения многокритериальных, слабо структурированных проблем является метод анализа иерархий (МАИ или в оригинальном названии автора метода Т. Саати [1, 2] — Analytic Hierarchy Process — AHP). Концентрированное изложение основных идей МАИ, имеющих достаточно убедительный математический и психофизический фундамент можно найти в статье Т. Саати [3]. На основе МАИ разработана широко известная программная система Expert Choice (см., например, [4] и там же обширная библиография по зарубежным публикациям МАИ).

Следует отметить, что в начале 70-х гг. отечественные авторы Б. Н. Брук и В. Н. Бурков [5] предложили метод обработки экспертной информации для упорядочения объектов, который фактически составляет основу аппарата МАИ. Таким образом, более сорок лет МАИ используется во всем мире (см., например, [1-4] и библиографию в этих работах) для поиска решений в разнообразных ситуациях: от управления на межгосударственном уровне до решения отраслевых и частных проблем практически во всех областях: бизнес, промышленность, здравоохранение, образование и т. д. Число статей прикладного характера с решениями задач из разных областей на основе МАИ измеряется тысячами. Начиная с 1988 г. (раз в два года) проводится Международный симпозиум, посвященный МАИ (International

Symposium on Analytic Hierarchy Process, ISAHP), последний (13-й по счету) состоялся в июне 2014 г. в Вашингтоне (США).

Однако периодически в научной и учебной литературе появляются публикации, в которых предлагаются «контрпримеры» (см., например, [6, 7]), целью которых является демонстрация несостоятельности теоретической базы МАИ, или «примеры» [8-11] использования МАИ, содержащие досадные неточности и ошибки, искажающие возможности МАИ при решении многокритериальных проблем.

Основные положения МАИ, которые обсуждаются в данных (объединим их в категорию «примеры») примерах: фундаментальная шкала МАИ, дескриптивный и нормативный подходы при сравнении элементов иерархии, свертка по критериям. Примеры из работ [6, 7] подробно рассматриваются в наших статьях [12, 13].

Анализ этих примеров-задач показал, что все противоречия для этих задач — мнимые и являются следствием заблуждений авторов относительно использования фундаментальной шкалы МАИ и условий применения аппарата МАИ. Цель настоящей работы — анализ основных особенностей использования средств МАИ для решения многокритериальных проблем.

2. Фундаментальная шкала МАИ

Как известно, для решения задач в рамках МАИ экспертами формируются так называемые матрицы парных сравнений А = (а). Элементы матриц А получаются на основе измерения предпочтений экспертов в шкале отношений, в частности, используется фундаментальная шкала (для сравнения объектов по качественным критериям используется только эта шкала). Фундаментальная шкала измерения результатов парных сравнений, используемая в МАИ, была получена на основе базовых соотношений модели нервного возбуждения, которые приводят к известному психофизиологическому закону «стимул-реакция». Эффективность этой шкалы была проверена во многих приложениях (см., [1-4] и указанные там ссылки).

Для облегчения работы эксперта основные деления фундаментальной шкалы имеют соответствующую смысловую (лингвистическую) интерпретацию: 1 — равная важность; 3 — слабое превосходство; 5 — превосходство; 7 — сильное превосходство; 9 — абсолютное превосходство; 2, 4, 6, 8 — промежуточные случаи. Шкала содержит и соответствующие обратные значения (для измерения результатов обратных парных сравнений).

Формальное применение фундаментальной шкалы МАИ, которая является шкалой отношений, приводит к следующим типичным примерам (цитируем, например, из работы [8, с. 130]): «...пусть, например, объект р1 абсолютно превосходит объект р2 и а12 = 9 согласно шкале. Пусть также объект р2 абсолютно пре-

восходит объект р3 и, следовательно, а23 = 9. Спрашивается, какое число назовет пользователь в качестве а13 — тоже 9 или 81? Последнее число в шкале отсутствует».

Простое решение этого «противоречия» состоит в том, что, что если эксперт использует классическую фундаментальную шкалу (1; 9), то он должен указать абсолютную степень превосходства (т. е., назвать число 9). При этом, вообще говоря, возникает рассогласование результатов парных сравнений (и в рамках МАИ степень этого рассогласования оценивается), но это явление связано практически с любыми измерениями, тем более с измерениями на уровне психофизиологических реакций. Если же есть возможность использовать обычную шкалу отношений (например, объекты сравниваются на основе количественного критерия типа «расстояние»), то результат парного сравнения может оказаться практически любой положительной величиной и при этом возникают «идеально согласованные» матрицы парных сравнений.

Дополнительно отметим, что в МАИ имеются приемы (см., [2]), позволяющие, с одной стороны, осмысленно расширить границы фундаментальной шкалы и перейти от классического случая (1; 9) к интервалу (1; да), а с другой — повысить точность измерения на любом интервале оценок, используя, например, значения 1.1; 1.2; ...; 1.9 на интервале (1; 2). Такой подход можно использовать для выявления тонких различий объектов сравнения, а также еще для более тонких, например, на интервале (1.1; 1.2). Ознакомиться с этими процедурами можно по работе Т. Саати [2].

Отсутствие измерительного инструмента, аналогичного фундаментальной шкале МАИ, помешало авторам пионерской работы [5] внедрить свой метод в практику решения многокритериальных задач. В этой работе продемонстрированы лишь потенциальные возможности метода, но отсутствует измерительный инструмент, с помощью которого можно формировать матрицы парных сравнений. В итоге, фактически, они уступили приоритет открытия МАИ в пользу Т. Саати.

В аналогичной ситуации оказались авторы работы [14], предлагающие использовать при решении многокритериальных задач методы «теории важности критериев (ТВК)» [15], которую следует расценивать как весьма неудачную (как по названию, так и по содержанию) теорию для решения прикладных задач. Базовое определение важности критериев [15, с. 40] лишено практического смысла без измерительной шкалы типа фундаментальной шкалы. В работах [12, 13] показано, что практическая несостоятельность ТВК (по сравнению с МАИ) обнаруживается уже в самых простых примерах. Критику МАИ и, в частности, фундаментальной шкалы, авторы [14] строят на своих ошибочных работах [6, 7] и некоторых «требованиях математической теории измерений». Для иллюстрации оригинального понимания

авторами работ [6, 7, 14] базовых фактов теории шкал и используемого ими «доказательного» стиля можно привести прямую цитату [7, с. 77], касающуюся измерений в шкале порядка: «Предположим, что имеется информация о том, что рост предпочтений вдоль шкалы критериев замедляется: при переходе от шкальной оценки т к оценке g предпочтения возрастают больше, чем при переходе от оценки g к е...». Напомним, что полученные в порядковой шкале экспертные оценки не являются числами и алгебраические операции с такими оценками проводить некорректно (см., например, [16]). «Усовершенствование» шкал порядка, предлагаемое в работе [15] с целью измерения роста предпочтений вдоль таких шкал, приводит к невнятным процедурам и вряд ли будет востребовано пользователем, который знаком со шкалами отношений и, в частности, с фундаментальной шкалой МАИ, которую авторы работ [6, 7, 14] не считают «научно обоснованной».

Далее в весьма солидном руководстве [11] по методам теории принятия решений (в частности, там излагаются сведения о МАИ и соответствующие примеры) наряду с прекрасным изложением основ МАИ можно найти следующее утверждение о фундаментальной шкале МАИ (цитируем [11, с. 606]): «... фундаментальная шкала является порядковой и вербальной». Подобные утверждения явно не способствуют пониманию базовых идей МАИ и вводят в заблуждение пользователей, которые пытаются использовать МАИ.

3. Дескриптивный и нормативный подходы в МАИ

Дескриптивный подход в МАИ означает прямое парное сравнение объектов (в рамках шкалы отношений) относительно критериев. Если критерий качественный, то для фиксации результатов парных сравнений используется фундаментальная шкала.

Нормативный подход в МАИ основан на использовании парных сравнений (в рамках фундаментальной шкалы) оценок порядковой шкалы для формирования шкалы интенсивностей (шкалы отношений) оценок по каждому критерию. С помощью полученных шкал интенсивностей затем выполняется раздельная оценка каждого из предложенных объектов с учетом весомости критериев.

Защищая свой ошибочный выбор дескриптивного подхода для решения примера в статье [6], авторы в следующей статье [7] ссылаются на классическую «задачу о покупке дома» из книги Т. Саати [2, с. 40-44], которая решается, по их мнению, «параллельно двумя подходами». По мнению авторов [7], упомянутые в книге [2] подходы не что иное, как дескриптивный и нормативный подходы и по логике авторов [6, 7] — это означает, что выбор подхода решения задачи в рамках МАИ произволен, если сам Т. Саати подобное демонстрирует.

Здесь авторы статьи [7] допустили элементарную ошибку, они не разобрались в ситуации: «задача о покупке дома» решена с помощью одного дескриптивного подхода, но с использованием двух способов (названные в книге [2, с. 44], распределенный и идеальный способы) вычисления глобальных приоритетов. Различие этих способов состоит в том, что в идеальном способе перед заключительной операцией вычисления глобальных приоритетов (суммирование весов альтернатив по критериям с учетом веса каждого критерия) добавляется нормирование весов по каждому критерию с помощью деления на максимальный вес альтернативы по соответствующему критерию, т. е., при этом нормировании альтернативы получают предварительные веса (по каждому критерию) относительно наилучшей альтернативы (из рассматриваемых альтернатив). Эта операция нормирования и была ошибочно воспринята авторами [7] за использование нормативного подхода.

Для наглядности в таблице приведем основные этапы для дескриптивного и нормативного подходов в задачах, решаемых на основе МАИ.

Таблица. Основные этапы для дескриптивного и нормативного подходов МАИ

Этапы Подход 1. Сравнение альтернатив по критериям 2. Сравнение уровней шкал критериев 3. Парное сравнение критериев 4. Вычисление глобальных приоритетов

Дескриптивный есть нет есть есть

Нормативный нет есть есть есть

Таким образом, первым отличительным признаком нормативного подхода (по сравнению с дескриптивным подходом) является отсутствие этапа 1 (парные сравнения альтернатив по критериям). В «задаче о покупке дома» любой внимательный читатель обнаружит этап 1 в примере Т. Саати [2, с. 43], т. е. основной признак дескриптивного подхода.

Добавим, что для корректного применения нормативного подхода должно выполняться необходимое условие: шкалы критериев, а точнее, уровни этих шкал должны быть однозначно описаны. В «задаче о покупке дома» это условие не выполняется, например, для первого критерия: «Размер дома» — это составной, размытый критерий, который включает: число и размер комнат, подсобную и общую площадь, поэтому в такой постановке задачи возможно использование только дескриптивного подхода.

Возвращаясь к примеру 1, описанному в статьях [6, 7, 12, 13], отметим, что критерии /1 и /2 имеют общую ординальную (порядковую) шкалу оценок (однозначных уровней шкалы): е — отлично, g — хорошо, т — посредственно, т. е. такие оценки с очевидностью предполагают сравнение рассматриваемых вариантов с

некоторым стандартом по этим критериям. Поэтому выбор нормативного подхода адекватен задаче и, кроме того, обеспечивает ряд полезных характеристик решения и процесса решения, среди которых — сохранение порядка ранжировок при добавлении или удалении альтернатив, сокращение объема операций для получения решения. Поясним последнее: для примера 1 в статье [6] нужно было ранжировать 4 альтернативы, используя два критерия, при этом дескриптивный подход потребовал обработки двух матриц (парных сравнений альтернатив по критериям) размера 4, а нормативный подход для этой задачи в нашей работе [12] использовал обработку лишь одной матрицы (парных сравнений уровней шкалы) размера 3. Если бы в этой задаче нужно было ранжировать полное число альтернатив, а их — 9, то дескриптивный подход потребует обработки уже двух матриц 9-го порядка, а нормативный подход использует ту же матрицу 3-го порядка. Очевидно, что рост числа критериев обеспечивает рост числа возможных альтернатив по экспоненте, что делает проблематичным использование дескриптивного подхода (и ординальных теорий). Напротив, при нормативном подходе максимальный размер матриц парных сравнений при создании шкал интенсивностей определяется только числом уровней шкалы критерия, которое на практике, как правило, не более 10.

Для того чтобы вскрыть основную ошибку авторов [6, 7] при решении примера 1 отметим существенный момент приведенного в работах [6, 7] решения. А именно: параметры решения а и Ь (а — степень превосходства в предпочтительности оценки е над оценкой g; Ь — степень превосходства оценки g над оценкой т. При этом, а > 1 и Ь > 1) определяют только взаимное соотношение оценок общей ординальной шкалы критериев, но важная информация о том, что в данной шкале существует максимальная, абсолютно лучшая оценка (е — отлично) при выбранном варианте дескриптивного подхода не используется. Для учета этого обстоятельства и получения корректного решения примера 1 необходимо использование нормативного подхода МАИ, что и было сделано нами в статье [12].

4. Свертка по критериям и логика рассуждений

Решение многокритериальных задач в МАИ основано на использовании линейной свертки критериев. Здесь мы не будем обсуждать теоретические аспекты условий обоснованности (или необоснованности) этого приема. Цель нашей работы — обсуждение особенностей использования средств МАИ. В частности, в работе [9], посвященной изложению «упрощенного варианта МАИ» на основе нелинейной свертки критериев, рассматривается пример, решение которого на основе «классического» (используется линейная свертка) варианта МАИ приводит к результату, противоречащему (по мнению автора [9]) здравому смыслу. Приведем этот пример и его решение в авторской формулировке:

«Предположим, что задача состоит в выборе (например, с целью приобретения) прямоугольного земельного участка из следующих трех вариантов: 10^10; 5^20 и 7x15, измерение производится в каких-то единицах длины. Очевидно, площади двух первых участков одинаковы и меньше площади третьего участка. Нетрудно проверить (например, чисто геометрически), что третий участок (площадь которого максимальна!) ни при каких положительных весах w1, w2 критериев, которыми являются длина и ширина участка (выделено курсивом нами), не может оказаться выбранным, если выбор осуществляется при помощи линейной свертки критериев».

На наш взгляд, линейная свертка по критериям здесь ни при чем, а «противоречие здравому смыслу» базируется на элементарной логической ошибке автора [9]. Действительно, выбор участков производится по критериям длины и ширины, а результат оценивается по другому критерию — площадь (площадь участка нелинейно связана с длиной и шириной), который в процессе выбора не принимается в расчет (если же критерий площадь участка учитывать в процессе выбора, то никаких противоречий не возникает). Отметим, что на практике основным критерием при выборе участка является площадь участка, а критерии «длина-ширина» являются равноценными и непонятно: зачем их использовать вместе — более информативным дополнительным критерием следует считать отношение «длина/ширина» как безразмерная характеристика формы участка. В связи с этим в рамках рассматриваемого примера, используя логику автора [9], можно привести еще более яркое «противоречие здравому смыслу» при использовании критериев «длина-ширина». Если сделать участки очень узкими (при той же площади), то можно получить результат в виде участка, на котором в буквальном смысле нельзя стоять без нарушения его границ.

В заключение упомянем еще один пример, который из-за продемонстрированной авторами работы [10] алогичности (понятной на уровне элементарного владения русским языком) стоит вне всякой корректности использования МАИ. Тема статьи [10] достаточно серьезная («О стратегии развития и модернизации РАН») и не оставляет возможности для шуток в духе Мигдала-Ландау. Авторы достаточно интересно описывают альтернативные стратегии развития и модернизации РАН и предлагают использовать МАИ для решения поставленной задачи выбора оптимальной стратегии. Они приводят следующие соображения в качестве обоснования выбора метода решения: «Метод особенно хорош для решения сложных проблем группой людей и применяется много лет в сотнях зарубежных организаций. Его особенности, достоинства и недостатки также обсуждаются в ряде работ, из которых мы рекомендуем недавние статьи Подиновских». Статьи этих авторов [6, 7] мы уже обсуждали выше и для удобства читателя напомним их названия: «О некор-

ректности метода анализа иерархий» и «Еще раз о некорректности метода анализа иерархий», из которых уже с очевидностью следует, что авторы указанных статей имеют совершенно определенное мнение о МАИ. Остается загадкой, что побудило авторов [10] рекомендовать для знакомства с МАИ статьи [6, 7], которые находятся в явном диссонансе (уже хотя бы по названиям!) с их собственной работой [10].

Заключение

Анализ представленных примеров решения многокритериальных задач в рамках МАИ показывает, что формальное и поверхностное представление об особенностях использования средств МАИ приводит к мнимым противоречиям. Часть авторов на основе этих примеров делают вывод о «некорректности» МАИ. Несостоятельность подобного вывода, основанного на частных контрпримерах, очевидна, так как даже в случае корректных контрпримеров это означало бы лишь ограничение на область применения МАИ.

Примеры задач ранжирования, предлагаемые в статьях [6, 7], не являются «контрпримерами» для МАИ (на что рассчитывали авторы работ), так как эти задачи успешно решаются средствами МАИ при соблюдении особенностей использования этих средств.

Литература

[1] Саати Т. Принятие решений. Метод анализа иерархий / пер. с англ. — М. : Радио и связь, 1993.

[2] Саати Т. Л. Принятие решений при зависимостях и обратных связях: Аналитические сети / пер. с англ. — М. : Изд. ЛКИ, 2008.

[3] Саати Т. Л. Об измерении неосязаемого. Подход к относительным измерениям на основе главного собственного вектора матрицы парных сравнений // Cloud of Science. 2015. T. 2, № 1. С. 5-39.

[4] Ishizaka A., Labib A. Analytic Hierarchy Process and Expert Choice: Benefits and Limitations // OR Insight. 2009. Vol. 22, No. 4. P. 201-220. (doi:10.1057/ori.2009.10)

[5] Брук Б. Н., Бурков В. Н. Методы экспертных оценок в задачах упорядочения объектов //

Известия АН СССР. Техническая кибернетика. 1972. № 3. C. 29-39.

[6] Подиновский В. В., Подиновская О. В. О некорректности метода анализа иерархий // Проблемы управления. 2011. № 1. C. 8-13.

[7] Подиновский В. В., Подиновская О. В. Еще раз о некорректности метода анализа иерархий // Проблемы управления. 2012. № 4. C. 75-78.

[8] Черноруцкий И. Г. Методы принятия решений. — СПб. : БХВ-Петербург, 2005.

[9] Ногин В. Д. Упрощенный вариант метода анализа иерархий на основе нелинейной свертки критериев // Журнал вычислительной матемематики и математической физики. 2004. Т. 44, № 7. С. 1261-1270.

[10] Вайнмахер А. М., Шмерлинг Д. С. О стратегии развития и модернизации РАН // Материалы XII Всероссийского совещания по проблемам управления (Москва, 16-19 июня 2014). — М. : ИПУ РАН, 2014. С. 8004-8011.

[11] Мадера А. Г. Моделирование и принятие решений в менеджменте: руководство для будущих топ-менеджеров. — М. : Изд. ЛКИ, 2010.

[12] Митихин В. Г. Об одном контрпримере для метода анализа иерархий // Проблемы управления. 2012. № 3. С. 77-79.

[13] Митихин В. Г. Еще раз о корректности метода анализа иерархий // Материалы IV межд. научно-практ. конференции «Фундаментальные и прикладные науки сегодня». Т. 1. — North Charleston : CreateSpace Independent Publ. Platform, 2014. С. 188-194.

[14] Подиновская О. В., Подиновский В. В. Анализ иерархических многокритериальных задач принятия решений методами теории важности критериев // Проблемы управления. 2014. № 6. С. 2-8.

[15] Подиновский В. В. Введение в теорию важности критериев в многокритериальных задачах принятия решений. — М. : Физматлит, 2007.

[16] Новиков Н. Ю. Теория шкал. Принципы построения эталонных процедур измерения, кодирования и управления. — М. : Физматлит, 2009.

Автор:

Вячеслав Георгиевич Митихин — кандидат физико-математических наук, ведущий научный сотрудник ФБГНУ «Научный центр психического здоровья» Российской академиии наук (Москва)

On the issue of multi-criteria decision problems based on the Analytic Hierarchy Process

Vyacheslav G. Mitikhin

FSBSI «Mental health research center», RAS 34, Kashirskoe shosse, Moscow, Russia, 115522

e-mail: mvgmia@mail.ru

Abstract. In this paper, based on examples from the scientific and educational literature and criticism of the use of the analytic hierarchy process describes the main features of the application of this method to solve multicriteria problems. Accounting for these features to avoid contradictions and false counterexamples arising from the use of the surface of fixed assets of the analytic hierarchy process, which include — the fundamental scale, descriptive and normative approach to solving problems.

Keywords: analytic hierarchy process, multi-objective problem, the fundamental scale, descriptive approach, the normative approach.

References

[1] Saaty T. L. (1993) Decision Making. The Analytic Hierarchy Process. Moscow, Radio i svyaz. [In Rus]

[2] Saaty T. L. (2008) Decision making with dependence and feedback: The Analytic Network Process. Moscow, Izd. LKI. [In Rus]

[3] Saaty T. L. (2015) On the Measurement of Intangibles. A Principal Eigenvector Approach to Relative Measurement Derived from Paired Comparisons, Cloud of Science, 2(1):5-39. [In Rus]

[4] Ishizaka A., Labib A. (2009) Analytic Hierarchy Process and Expert Choice: Benefits and Limitations, OR Insight, 22(4):201-220. (doi:10.1057/ori.2009.10)

[5] Bruk B. N., Burkov V. N. (1972) Metody ekspertnykh otsenok v zadachakh uporyadocheniya ob'ektov, Izvestiya ANSSSR. Tekhnicheskaya kibernetika, 3:29-39.

[6] Podinovski V. V., Podinovskaya O. V. (2011) On the theoretical incorrectness of the Analytic Hierarchy Process, Control Sciences, 1:8-13.

[7] Podinovski V. V., Podinovskaya O. V. (2012) Another note on the incorrectness of the Analytic Hierarchy Process, Control Sciences, 4:75-78.

[8] Chernorutskii I.G. (2005) Metodyprinyatiya reshenii. Sain-Petersburg, BKhV-Peterburg.

[9] Nogin V. D. (2004) Uproshchennyi variant metoda analiza ierarkhii na osnove nelineinoi svertki kriteriev, Computational Mathematics and Mathematical Physics, 44(7):1261-1270.

[10] Vainmakher A. M., Shmerling D. S. (2014) O strategii razvitiya i modernizatsii RAN, Proc. XII Vserossiiskogo soveshchaniya po problemam upravleniya, Moscow, pp. 8004-8011.

[11]Madera A. G. (2010) Modelirovanie i prinyatie reshenii v menedzhmente: Rukovodstvo dlya budushchikh top-menedzherov. Moscow, LKI.

[12] Mitikhin V. G. (2012) On a counterexample for the Analytic Hierarchy Process, Control Sciences, 3:77-79.

[13] Mitikhin V. G. (2014) Once again the correctness of the analytic hierarchy process. Proceedings of the IV Int. Scient. Conference "Fundamental and Applied Science Today", North Charleston, USA. Vol. 1, pp. 188-194.

[14] Podinovskaya O. V., Podinovski V. V. (2014) Analysis of hierarchical multicriterial decision making problems using methods of criteria importance theory, Control Sciences, 6(2-8).

[15] Podinovski V. V.(2007) Vvedenie v teoriyu vazhnosti kriteriev v mnogokriterial'nykh zadachakh prinyatiya reshenii. Moscow, Fizmatlit.

[16] Novikov N. Yu. (2009) Teoriya shkal. Printsipy postroeniya etalonnykh protsedur izmereniya, kodirovaniya i upravleniya. Moscow, Fizmatlit.

i Надоели баннеры? Вы всегда можете отключить рекламу.