Проблемы использования метода анализа иерархий и пути их решения Текст научной статьи по специальности «Математика»

со s

с; <

<

.о ш

Проблемы использования метода анализа иерархий и пути их решения

Problems of the Analytic Hierarchy Process and Some Solutions

УДК 519.711

Ш

О ^

О ш

Ц-

ш

I-<

Коробов Владимир Борисович

заместитель директора Федерального исследовательского центра комплексного изучения Арктики РАН (г Архангельск), доктор географических наук 163000, Архангельск, Садовая ул., д. 3

Vladimir B. Korobov

Federal research center of complex studying of the Arctic (Branch of the Russian Academy of Science)

Sadovaya Str. 3, Arkhangelsk, Russian Federation, 163000

На основании личного многолетнего опыта применения метода анализа иерархий авторы подробно разбирают выявленные ими недостатки метода. Цель. Выявить положительные и отрицательные стороны метода анализа иерархий (МАИ). Задачи. Установить причины некорректностей, присущие МАИ, и разработать рекомендации по их устранению. Особое внимание уделено лежащей в основе метода шкале отношений Саати и проблеме «идеального» эксперта.

Методические подходы. Логический анализ, статистические методы оценивания, теория упорядоченных множеств.

Результаты. Показано, что шкала отношений не является инвариантной, а отношение согласованности, использующее понятие «идеального» эксперта, не может быть применено в качестве критерия оценки качества работы эксперта.

Выводы. Метод представляет собой процедур, большинство из которых нуждается в пересмотре. Сформулированы предложения по совершенствованию метода.

Ключевые слова: метод анализа иерархий, шкала отношений, идеальный эксперт, транзитивность

The authors examine the problems of the analytic hierarchy process based on the generalized experience of application of this technique.

Aim. This study determines the pros and cons of the analytic hierarchy process (AHP). Tasks. This study determines the cause of the incorrectness inherent to the AHP and develops guidelines to address these issues. Particular attention is paid to the Saati scale, which is fundamental to the technique, and the problem of a "perfect" expert. Methods. This study uses logical analysis, statistical evaluation methods, and theory of ordered sets. Results. This study indicates that the ratio scale is not invariant and that the conformity relation that uses the notion of the "perfect" expert cannot be applied as a criterion for the evaluation of expert work. Conclusions. The technique is a set of procedures, most of which need to be revised. Proposals on the improvement of the technique are formulated. Keywords: analytic hierarchy process, ratio scale, perfect expert, transitivity

Введение

Метод анализа иерархий (МАИ), разработанный американским математиком Томасом Саати в конце 1980-х — начале 1990-х гг. [1; 2 и др.], быстро завоевал признание специалистов и получил широкое распространение во многих сферах науки и практики.

Тутыгин Андрей Геннадьевич

заведующий лабораторией Федерального исследовательского центра комплексного изучения Арктики РАН (г. Архангельск), кандидат физико-математических наук, доцент 163000, Архангельск, Садовая ул., д. 3

Andrey G. Tutygin

Federal research center of complex studying of the Arctic (Branch of the Russian Academy of Science)

Sadovaya Str. 3, Arkhangel'sk, Russian Federation, 163000

И сейчас, по прошествии 30 лет, МАИ является одним из самых популярных методов многокритериального оценивания сложных систем и объектов.

Чем можно объяснить такую популярность? Прежде всего, его относительной простотой в применении и ясностью конечных результатов. На выходе получается строгая иерархия рассмотренных альтернатив и объектов, что весьма удобно для проведения классификаций и принятия управленческих решений.

Авторы много лет применяют этот метод для решения самых разнообразных задач [3-11 и др.] и накопили достаточно большой опыт по его применению. При этом, как это часто бывает, обнаружили и ряд присущих ему недостатков. О некоторых из них было написано в работах [7; 12; 13].

Эти работы вызвали определенный интерес у специалистов, о чем можно судить по числу цитирований в российской электронной библиотеке еЫЬгагу. Появились и другие публикации, подвергающие жесткой критике и сомнению МАИ, например, [14, 15], а также работы в защиту метода, такие как [16], в которой выявлены ошибки в исследованиях предыдущих авторов. Короче, дискуссии относительно метода ведутся, число посвященных ему публикаций растет, а интенсивность применения метода не снижается.

Авторы настоящей публикации, несмотря на выявленные изъяны метода, также продолжают оставаться его сторонниками. Противоречия здесь нет, поскольку, во-первых, еще никому не удавалось разработать безукоризненный во всех отношениях метод, дающий безупречные результаты, — неважно, о какой области человеческой деятельности идет речь, и, во-вторых, знание недостатков метода позволяет более адекватно интерпретировать полученные с его помощью результаты, а также совершенствовать сам метод, если это, конечно, возможно или же целесообразно.

Поэтому мы решили еще раз обсудить известные недостатки МАИ и в порядке дискуссии предложить пути их устранения. Чтобы было более понятно, о чем идет речь, кратко остановимся на ключевых положениях метода.

Содержание метода

МАИ по своей структуре представляет собой набор процедур. Реализация метода производится в строго определенной последовательности. Вначале по специ-

Иерархия экспертных сравнений соотношения факторов

№ Суждение Пояснение

1 Равная предпочтительность Две альтернативы одинаково предпочтительны с точки зрения цели

2 Слабая степень предпочтения Промежуточная градация между равным и средним предпочтением

3 Средняя степень предпочтения Опыт эксперта позволяет считать одну из альтернатив немного предпочтительнее другой

4 Предпочтение выше среднего Промежуточная градация между средним и умеренно сильным предпочтением

5 Умеренно сильное предпочтение Опыт эксперта позволяет считать одну из альтернатив явно предпочтительнее другой

6 Сильное предпочтение Промежуточная градация между умеренно сильным и очень сильным предпочтением

7 Очень сильное (очевидное) предпочтение Опыт эксперта позволяет считать одну из альтернатив гораздо предпочтительнее другой: доминирование альтернативы подтверждено практикой

8 Очень, очень сильное предпочтение Промежуточная градация между очень сильным и абсолютным предпочтением

9 Абсолютное предпочтение Очевидность подавляющей предпочтительности одной альтернативы над другой имеет неоспоримое подтверждение

< <

о х о

<

со О

О

О О

ально разработанной Саати шкале производится попарное сравнение факторов нижнего уровня иерархии по критериям следующего уровня, далее составляется матрица парных сравнений, затем вычисляются весовые коэффициенты факторов, собственное число матрицы, далее производится оценка качества работы эксперта путем сравнения рассчитываемого так называемого индекса согласованности с неким «идеальным экспертом». Если расхождение невелико, результаты принимаются, если же превышают некий допустимый предел — отвергаются. Далее процедуры переходят на следующий уровень иерархии и т.д.

Теперь рассмотрим каждую процедуру подробнее, чтобы было ясна их критика, и вытекающие из этой критики предложения по совершенствованию метода.

Парные сравнения

Сравнение свойств объекта по парам наиболее просто, поскольку позволяет сконцентрировать внимание на качествах только двух сравниваемых характеристик. В МАИ — по их вкладу в конечный результат.

Оценочная шкала представляет собой таблицу, в которой для облегчения работы экспертам (особенно на первых порах) каждому суждению дается словесное пояснение — полное или краткое. Ее можно встретить в различном виде, но здесь мы приводим (табл.1) [17] наиболее полное представление.

Пользуются этой таблицей так. Рабочей ее частью является второй столбец. Он, собственно говоря, и есть шкала. Так вот, для оценки объекта сопоставляются все возможные пары факторов, влияющих на формирование этого объекта. Всего будет (п2 - п) суждений, где п — число факторов. В этом выражении п вычитается, поскольку сравнивать фактор сам с собой нет необходимости — он тождественен сам себе. На самом же деле в силу обратной симметричности операции сравнения число сравнений будет в 2 раза меньше: если фактору а отдано определенное предпочтение над фактором б, то тем самым сравнение уже произведено. Лучше это видно на цифрах: если а больше б в 3 раза, то, естественно, что и б будет меньше а тоже в 3 раза, т. е. фактически 0,5(п2 - п).

Вычисление весовых коэффициентов Данное свойство парных сравнений по шкале отношений может быть использовано для представления экс-

пертных суждений в числовом виде. Достигается это следующим образом. Посмотрим еще раз на табл. 1 и зададимся вопросом: зачем там первый столбец с нумерацией строк?

Оказывается, при помощи этих самых номеров строк можно очень просто закодировать экспертные суждения и представить их в виде матрицы. Делается это так. Составляется новая таблица. Она будет иметь размерность п х п — по числу влияющих факторов. Каждому фактору присваивается номер, причем неважно, в какой последовательности они следуют — сравнение ведь производится полным перебором всех возможных пар факторов. Диагональ этой таблицы будет равна 1, поскольку сравнение фактора самого с собой тождественно. Итак, на старте мы имеем (табл. 2).

Теперь вернемся к самой процедуре сравнения посредством шкалы отношений. Берем стоящий в списке первым фактор и сравниваем его со вторым. Воспользуемся выше приведенным примером применения шкалы Саати — если, по мнению эксперта, одному фактору придана средняя степень предпочтения над другим — третья строка шкалы, то а будет больше б в 3 раза, и, естественно, б будет меньше а тоже в 3 раза. Переписав его в новых обозначениях: если фактор А11 больше фактора А12 в 3 раза, то, естественно, что и А12 меньше А11 тоже в 3 раза, получим следующие соотношения а12 = Л11/Л12 = 3 и, соответственно, а21 = Л12/Л11 = 1/3, которые займут свои места в матрице, и так последовательно все сочетания.

В конечном виде полностью заполненная таблица, например, для п = 5 будет выглядеть примерно так — числа, понятно, могут быть и другими (табл. 3):

Построенная при помощи шкалы Саати матрица парных сравнений относится к обратно-симметричным матрицам. Из этого следует, что достаточно заполнять только один треугольник относительно диагонали: верхний или нижний.

Представление результатов в виде матрицы очень удобно. Матричный анализ позволяет свести нахождение ряда характеристик к известным и хорошо отработанным алгоритмам. Так и здесь, как показал Саати, весовые коэффициенты факторов будут равны компонентам собственного вектора матрицы, вычисление которого — дело техники. Другими словами,

< <

о х о

<

со О

О

О О

Шаблон матрицы парных сравнений

Номер фактора

1

п - 1

1

2,1

2

1ь,2

п,2

к

2,к

п,к

2,п - 1

к,п - 1

ап,п - 1

1,п

2,п

к,п

- 1,п

Таблица 3

Матрица парных сравнений

Номер фактора 1 2 3 4 5

1 1 3 5 1/2 7

2 1/3 1 4 1/3 5

3 1/5 1/4 1 2 7

4 2 3 1/2 1 6

5 1/7 1/5 1/7 1/6 1

Таблица 4

Средние согласованности (СС) для случайных матриц разного порядка

1

п

п

1

а

а

а

1,п - 1

2

1

к

1

1

а

а

а

п - 1,1

п - 1,2

п - 1,к

1

п

п 1 2 3 4 5 6 7 8 9 10

СС 0 0 0,58 0,90 1,12 1,24 1,32 1,41 1,45 1,49

таким путем от парных сравнений факторов в словесном виде при помощи специальной шкалы отношений через матричное их представление можно получить количественные величины значимости факторов — весовые коэффициенты.

Оценка качества работы эксперта Для этой цели Саати был предложен числовой критерий, названный им индексом согласованности (ИС). Вычисляется он довольно просто, по формуле:

ИС = , (1)

п -1

где X — максимальное собственное число матрицы парных сравнений, п — число сравниваемых факторов.

Сам по себе этот критерий не так просто явно интерпретировать, поскольку собственные числа непосредственно не связаны с транзитивностью суждений. Очевидно, поэтому Саати не удовлетворился данным критерием и решил ИС сравнить с величиной, полученной при случайном выборе экспертных оценок, которая им трактуется как средняя. Средние согласованности (СС) для случайных матриц разного порядка приведены в табл. 4 — есть и более «длинный» ее вариант для большего количества факторов, но в данном случае это несущественно; п — число факторов.

Если разделить ИС на СС для матрицы того же порядка, то получим отношение согласованности (ОС):

ОС = ИС • 100%, (2)

СС

которое и принимается за окончательный критерий. Величина ОС рекомендуется порядка 10% или менее, чтобы быть приемлемой, но в принципе ничто не мешает ей быть любой другой. Если эксперт укладывается в заданный организаторами опроса критерий, его результаты принимаются, если же нет — результаты

выбрасываются, или же ему предлагается повторно вернуться к задаче и пересмотреть свои на оценки. На этом принципе основаны многотуровые методы, наиболее известным из которых является метод Дельфи, а также некоторые его модификации.

Если экспертов было несколько, что обычно и бывает, их результаты усредняются одним из многочисленных способов [18]. На этой процедуре на данном уровне иерархии МАИ заканчивается и переходит на следующий.

Необходимо еще добавить, что все эти процедуры достаточно легко формализуются и программируются, что в не последнюю очередь в наш информационно-комьютерный век способствовало такой популярности МАИ.

Теперь поговорим об основных проблемах метода. Проблемы

Их, как мы отметили выше, не одна. Рассмотрим их в порядке важности, в той степени, в которой мы их сами на сегодняшний день понимаем.

Оценочная шкала

Шкала Саати (табл. 1) представляет собой типичную шкалу отношений. В основу этого типа шкал положен принцип сопоставления предметов, объектов, ситуаций и их компонентов между собой. Так, если один предмет имеет протяженность, допустим, 5 м, а другой — 10 м, то отношение длин будет 5 к 10 или, что тоже самое, 1 к 2. Так можно установить, какой из предметов длиннее или, наоборот, какой из них короче и во сколько раз.

Шкалы отношений позволяют сравнивать не только однородные характеристики — длину, вес, объем, температуру и т. д., но и совершенно разные качества объекта. Главное их преимущество заключается в том, что посредством этих шкал на деле можно сравнивать различные качества объектов, независимо

от размерности величин, их описывающих. Для этого необходимо установить соответствия между некоторыми вербальными характеристиками соотношений и количественными оценками. Так, можно задаться вопросом: во сколько раз один предмет должен быть длиннее другого, чтобы считать это отношение длин значительным (незначительным, заметным...)? В общем, с одной стороны, должна быть вербальная характеристика, с другой — числовое соответствие или же вербальное описание.

Теперь конкретно о недостатках. Первое, на что хочется обратить внимание, линейность градаций. Каждая из последующих градаций отличается от предыдущей, как и во всех ранговых шкалах, на постоянную величину, в данном случае 1. Но кто сказал, что введенные автором суждения различаются именно так? Почему, скажем, при «существенном превосходстве» отношение между факторами должно быть равно именно 5 (или 1/5), как это следует из места этой оценки в шкале, а не, допустим, 5,358 или же некоторому другому числу? Ведь массовых опросов по нахождению числовых соответствий вербальным определениям Саати не проводил. А надо было бы. Сделать это, вообще говоря, не сложно, только хлопотно.

Вторым недостатком данной шкалы является то, что величина расстояния между оценками, полученными посредством парных сравнений, не является инвариантной. Понимать это нужно следующим образом. Если разница между целочисленными градациями всегда кратная 1, то между обратными соотношениями она будет переменной, поскольку разность между убывающей последовательностью дробных чисел не может быть одинаковой, даже если вычитать их последовательно друг из друга. Каждый раз мы будем получать новое число: 1/8 - 1/9 = 1/72, 1/7 - 1/8 = 1/56 и т. д., в то время как вычитая обратные им числа — 8 из 9 и 7 из 8 — мы в обоих случаях получим 1. Знак здесь роли не играет, важна величина самой разности, т. е. ее модуль.

Но не все так безобидно. Вот и получается, что разница между рангами не является инвариантом. Если мера между рангами изменяется немного не мало, аж в 72 раза, а это почти два порядка, то такую матрицу очень трудно встроить в некоторые методы сравнения экспертных оценок, в частности, основанные на отклонении рангов друг от друга или от средней величины. Конечно, выход найти можно и здесь — дробную часть преобразовать в ранговую, придав рангам отрицательные значения или же начинать считать ранги таким образом: 1/9 — 1 ранг, 1/8 — 2, ..., 8 — 16, 9 — 17 (допустимо и в обратном направлении).

Третьим недостатком этой шкалы является почти повсеместное нарушение строгости соотношений между последовательными сравнениями факторов. Рассмотрим три любых фактора, для простоты взяв только один из индексов: а1, а2 и а3. Пусть эксперт оценил соотношения между ними следующим образом: а2/а1 = 3 и а3/а2 = 2. Тогда следует ожидать, что соотношение а3/а1 будет равным 6. Но эксперт может придать этой паре совсем другое значение — допустим, 4. При этом транзитивность, что если А > В, а В > С, то и А > С, нарушена не будет. А если этой паре будет присвоено дробное число? Тогда транзитивность нарушается, но об этом поговорим позже.

Для примера мы специально выбрали числа, которые укладываются в диапазон шкалы. Но за него

легко выйти, если увеличить одно из соотношений. ™

Пусть будет а2/а1 = 3, а3/а2 = 4. Тогда а3/а1 должно ^

быть равным 12, а это, согласно логике данной шка- ^

лы, невозможно — нет такой градации! Короче, мы >х

можем заполучить полное противоречие с принципом ^

кодирования экспертных суждений посредством этой 2

шкалы, разве что расширив ее границы. Но тогда, £

как это несложно показать, она будет расширяться, ^

причем в обе стороны, до бесконечности и потеряет ш

всякий смысл. ^

В-четвертых, насколько мы понимаем, первона- <

чальный замысел Саати состоял в том, чтобы экс- о

перты высказывали свои суждения в словесном виде. ^

Кодировкой и обработкой опросных листов должны ш

были заниматься другие люди. Но этот путь длинный о

и громоздкий. Куда проще научить экспертов, поль- ^

зуясь этой шкалой, самим заполнять матрицу, или о

матрицы, если факторы разбиты на группы. Време- о

ни на обучение требуется немного, по опыту Саати, ^

который мы можем подтвердить из своей практики, ^

максимум 20 минут. 2

Однако любое доброе дело — в данном случае уско- ^

рить обработку результатов, — как это часто бывает 2 в жизни, имеет и некоторые отрицательные стороны. Часть экспертов, внимательно относящаяся к числам, вольно или невольно начинает себя контролировать, дабы не нарушить тот самый принцип транзитивности, тем самым улучшая свои результаты.

«Обратная» логика

Эта проблема имеет две стороны: нарушение транзитивности и разнонаправленность оценочных векторов.

Транзитивность подразумевает под собой одновременный взгляд как минимум на три объекта: если А > Б и Б > В, то А > В. Саати, предъявляя эксперту для сравнения единомоментно только пару объектов, тем самым оставляет правило транзитивности как бы за скобками, видимо, полагая наличие транзитивного мышления у эксперта на уровне подсознания, что является достаточно спорным моментом. Этим самым логический вывод о том, что А > В, полученный на основе непосредственного сравнения А с Б и Б с В с помощью транзитивного заключения, подменяется непосредственным сравнением А с В, никак не связанным с предыдущими двумя сравнениями. В литературе таких примеров можно найти множество и легко придумать самим.

Во втором случае нарушения транзитивности не происходит, или же происходит в считанных случаях, что не выходит за пределы погрешности метода, как бы ее не определять. Просто часть экспертов выстраивает другие логические цепочки, вплоть до противоположных, например, вместо А > Б > В > ..., как поступила большая часть экспертов, в обратную сторону: А < Б < В < .... Формально, если они укладываются в заданный критерий погрешности, то же отношение согласованности, нет никаких оснований исключать результаты таких опросов из дальнейшей обработки. Но распределение весовых коэффициентов по ряду факторов может получиться противоположным. Тогда усреднение их приведет к результату, и близко не соответствующему мнению экспертов. Как компромисс его трактовать нельзя, поскольку он не будет являться следствием согласованности суждений.

Отметим, что это явление свойственно не только МАИ, но и другим методам. Видимо, понимая, что индекс согласованности явно недостаточен для усредненных оценок, Саати и предложил его нормировать

™ (формула 2) — на некие средние согласованности ^ (табл. 4). Но достиг ли он своей цели? На этот счет ^ у нас имеются серьезные сомнения.

>х

з Что такое «идеальный эксперт»? 2 В работе [12] нами на ряде примеров было убеди-£ тельно показано, что идеальная транзитивность в ^ построении иерархии экспертами в МАИ ведет к ро-ш сту отношения согласованности, причем чем больше ^Е число факторов, тем выше это соотношение! Резуль-< тат абсурдный. Мы попытались найти причину такого о несоответствия. Поиск затруднялся тем обстоятель-^ ством, что у Саати нигде четко не написано, как были ш получены средние согласованности. о Обычно в таких случаях стараются провести как ^ можно больше опросов, чтобы получить устойчивые о статистические оценки, которые принимаются за о эталонные [19], т. е. в идеологии этих методоло-^ гий положен закон больших чисел. А он, как извест-^ но, требует достаточно больших выборок, чего при 2 экспертных опросах, которые заведомо не отлича-^ ются массовостью — эксперты народ штучный, до-2 стигнуть весьма затруднительно. Когда же речь идет о новой проблеме, данный подход вообще не применим, поскольку сравнивать результаты попросту не с чем.

Поэтому Саати пошел другим, тоже достаточно распространенным путем: необходимые выборки были сгенерированы генератором случайных чисел. Мы с сотрудниками попытались воспроизвести все требуемые для этого процедуры, но аналогичные Саати результаты воспроизвести нам не удалось.

По нашему мнению, Саати или его сотрудники, при этом использовали стандартный подход к формированию выборок, требующий нормального распределения исходных данных. А это как раз и не наблюдается, поскольку, как показала практика многочисленных опросов, проведенных авторами на разные темы с различным количеством участников, экспертные оценки никогда не подчинялись нормальному закону распределения.

Из этого следует вывод, что средние согласованности, являющиеся составной частью критерия качества работы эксперта, в МАИ найдены некорректно и их не следует использовать для оценки экспертных суждений.

Обсуждение

Как видим, проблемы, присущие МАИ, весьма серьезны. Но в то же время понятно, что следует предпринимать для исправления обнаружившихся недостатков метода. Возможные пути решения вытекают из самих проблем. По большому счету, их три: шкала отношений, формирование матрицы экспертных суждений и критерий качества работы эксперта. Проблемы эти, на наш взгляд, вполне решаемые, хотя и требуют всестороннего обсуждения.

Для этого необходимо в порядке дискуссии обсудить пути к решению поставленных задач. Здесь мы можем наметить только подходы к путям разработки новой шкалы, составлению матрицы и расчету критерия качества работы эксперта.

Шкала, по нашему глубокому убеждению, должна быть нелинейной. При этом ее вербальную часть можно оставить неизменной. Границы интервалов могут быть как целыми, так и дробными. Установить их можно экспертным путем на основании массовых опросов соответствия интервалов вербальным харак-

теристикам с последующей статистической обработкой полученных оценок. В частности, можно применить теорию нечетких множеств.

Обратно-симметричную матрицу лучше заменить на кососимметричную с нулевой диагональю, т. е. от отношений перейти к модулям разностей. Тогда математическое выражение парных сравнений станет инвариантным. Суть вычисления весовых коэффициентов по кососимметричной матрице — а они, напомним, равны компонентам собственного вектора, — от этого не изменится.

Гораздо сложнее решить вопрос с критерием оценки качества работы экспертов. Без всестороннего обсуждения этой проблемы здесь не обойтись, тем более что вопрос разграничения классов в науке до настоящего времени не решен, и нет оснований надеяться, что он будет решен в обозримом будущем. Необходимо выработать некое конвенциональное соглашение как по самой его сути, так и по численной величине критерия.

Заключение

Какой же из проведенного анализа можно сделать вывод об использовании МАИ? На наш взгляд, он еще вполне жизнеспособен, но большинство входящих в него процедур нуждаются в замене. Технологически это вполне осуществимо.

Литература

1. Саати Т. Л. Принятие решений. Метод анализа иерархий / Пер. с англ. М.: Радио и связь, 1989. 278 с.

2. Саати Т., Кернс К. Аналитическое планирование. Организация систем. М.: Радио и связь, 1991. 224 с.

3. Губайдуллин М. Г., Коробов В. Б. Экспертная интегральная оценка экологического состояния геологической среды // Геоэкология. Инженерная геология. Гидрогеология. Геокриология. 2005. № 3. С. 244-252.

4. Коробов В. Б. Организация проведения экспертных опросов при разработке классификационных моделей // Социологические исследования. 2003. № 11. С. 102-108.

5. Коробов В. Б. Географическое обоснование создания транспортной инфраструктуры Тимано-Печорской нефтегазоносной провинции // Известия РАН. Серия географическая. 2006. № 4. С. 87-98.

6. Коробов В. Б. Экспертные методы в географии и геоэкологии. Архангельск: Изд-во Поморского гос. ун-та,

2008. 244 с.

7. Коробов В. Б., Тутыгин А. Г. Классификационные методы решения эколого-экономических задач. Архангельск: Поморский уни-т, 2010. 309 с.

8. Степанова В. В., Тутыгин А. Г. Оценка социально-экономического развития населенных пунктов (на примере Архангельской области) // Экономика и управление.

2009. № 11 (49). С. 41-44.

9. Матвиенко И. И., Чижова Л. А., Тутыгин А. Г. Методика определения инвестиционной привлекательности муниципальных образований региона // Экономика и управление. 2012. № 2 (76). С. 81-87.

10. Тутыгин А. Г., Чижова Л. А., Матвиенко И. И. Анализ инвестиционной привлекательности муниципальных образований Архангельской области // Экономика и управление. 2012. № 10 (84). С. 40-48.

11. Коробов В. Б., Середкин К. А. Применение экспертных сетей для экологического районирования Белого моря // Известия Российской академии наук. Серия географическая. 2016. № 3. С. 81-87.

12. Тутыгин А. Г., Коробов В. Б. Преимущества и недостатки метода анализа иерархий // Известия РПГУ им. А. И. Герцена. 2010. № 122. С. 108-115.

13. Коробов В. Б. Некоторые проблемы применения экспертных методов на практике // Научный диалог. 2013. № 3 (15). С. 94-108.

14. Подиновский В. В., Подиновская О. В. О некорректности метода анализа иерархий // Проблемы управления. 2011. № 1. С. 8-13.

15. Подиновский В. В., Подиновская О. В. Ещe раз о некорректности метода анализа иерархий // Проблемы управления. 2012. № 4. С. 75-78.

16. Митихин В. Г. Об одном контрпримере для метода анализа иерархий // Проблемы управления. 2012. № 3. С. 77-79.

17. Саати Т. Л. Принятие решений при зависимостях и обратных связях. Аналитические сети: Пер. с англ. М.: Изд-во ЛКИ, 2009. 360 с.

18. Коробов В. Б. Сравнительный анализ методов определения весовых коэффициентов «влияющих факторов» // Социология: 4М. 2005. № 20. С. 54-73.

19. Татарова Г. Г. Качественные методы в структуре методологии анализа данных // Социология: 4М. 2001. № 14. С. 33-52.

References

1. Saaty T. L. Decision making for leaders: The analytical hierarchy process for decisions in a complex world. Maastricht, Lifetime Learning Publ., 1982. 291 p. (Russ. ed.: Saati T. L. Prinyatie resheniy. Metod analiza ierarkhiy. Moscow, Radio i svyaz' Publ., 1989. 278 p.).

2. Saaty T. L., Kearns K. P. Analytical planning: The organization of systems. Oxford, Pergamon Press, 1985. 208 p. (Russ. ed.: Saati T., Kerns K. Analiticheskoe planirovanie. Orga-nizatsiya sistem. Moscow, Radio i Sviaz' Publ., 1991. 224 p.).

3. Gubaydullin M. G., Korobov V. B. Ekspertnaya integral'naya otsenka ekologicheskogo sostoyaniya geologicheskoy sredy [Expert integrated assessment of ecological condition of the geological environment]. Geoekologiya. Inzhenernaya geo-logiya. Gidrogeologiya. Geokriologiya, 2005, no. 3, pp. 244252.

4. Korobov V. B. Organizatsiya provedeniya ekspertnykh opros-ov pri razrabotke klassifikatsionnykh modeley [Organization of expert interviews to develop classification models]. So-tsiologicheskie issledovaniya, 2003, no. 11, pp. 102-108.

5. Korobov V. B. Geograficheskoe obosnovanie sozdaniya trans-portnoy infrastruktury Timano-Pechorskoy neftegazonosnoy provintsii [Geographical basis of transport infrastructure of Timan-Pechora oil and gas containing province]. Izvestiya Rossiyskoy akademii nauk. Seriya geograficheskaya, 2006, no. 4, pp. 87-98.

6. Korobov V. B. Ekspertnye metody v geografii i geoekologii [Expert methods in geography and geoecology]. Arkhangelsk, Pomor State University Publ., 2008. 244 p.

7. Korobov V. B., Tutygin A. G. Klassifikatsionnye metody reshe-niya ekologo-ekonomicheskikh zadach [Classification methods for solving environmental and economic problems]. Arkhangel'sk, Pomor State University Publ., 2010. 309 p.

8. Stepanova V. V., Tutygin A. G. Otsenka sotsial'no-ekonom- m icheskogo razvitiya naselennykh punktov (na primere Ar- ^ khangel'skoy oblasti) [Assessment of the socio-economic ^ development of settlements (the example of the Arkhangelsk < region)]. Ekonomika i upravlenie, 2009, no. 11 (49), pp. 41- 3 44. I

9. Matvienko I. I., Chizhova L. A., Tutygin A. G. Metodika opre- lu deleniya investitsionnoy privlekatel'nosti munitsipal'nykh o obrazovaniy regiona [Methods of determining the investment ^ attractiveness of the region's municipalities]. Ekonomika i LU-upravlenie, 2012, no. 2 (76), pp. 81-87. s

10. Tutygin A. G., Chizhova L. A., Matvienko I. I . Analiz investit- < sionnoy privlekatel'nosti munitsipal'nykh obrazovaniy Ar- § khangel'skoy oblasti [Analysis of investment attractiveness ^ of the municipalities of the Arkhangelsk region]. Ekonomika ^ i upravlenie, 2012, no. 10 (84), pp. 40-48. ^

11. Korobov V. B., Seredkin K. A. Primenenie ekspertnykh setey ° dlya ekologicheskogo rayonirovaniya Belogo morya [The m use of expert networks for ecological zoning of the White o Sea]. Izvestiya Rossiyskoy akademii nauk. Seriya geogra- o ficheskaya, 2016, no. 3, pp. 81-87. ^

12. Tutygin A. G., Korobov V. B. Preimushchestva i nedostatki ¡E metoda analiza ierarkhiy [Advantages and disadvantages of ^ the analytic hierarchy process]. Izvestiya RPGU im. A. I. Ger- w tsena [Proceedings of the Russian State Pedagogical Uni- < versity named after A. I. Herzen], 2010, no. 122, pp. 108-115.

13. Korobov V. B. Nekotorye problemy primeneniya ekspertnykh metodov na praktike [Some problems of application of expert methods in practice]. Nauchnyy dialog, 2013, no. 3 (15), pp. 94-108.

14. Podinovskiy V. V., Podinovskaya O. V. O nekorrektnosti metoda analiza ierarkhiy [On incorrectness of analytic hierarchy process]. Problemy upravleniya, 2011, no. 1, pp. 8-13.

15. Podinovskiy V. V., Podinovskaya O. V. Eshche raz o nekor-rektnosti metoda analiza ierarkhiy [Once again on incorrectness of analytic hierarchy process]. Problemy upravleniya, 2012, no. 4, pp. 75-78.

16. Mitikhin V. G. Ob odnom kontrprimere dlya metoda analiza ierarkhiy [A counterexample for the analytic hierarchy process]. Problemy upravleniya, 2012, no. 3, pp. 77-79.

17. Saaty T. L. Decision making with the analytic network process. New York, Springer Publ., 2006. 288 p. (Russ. ed.: Saati T. L. Prinyatie resheniy pri zavisimostyakh i obratnykh svyazyakh. Analiticheskie seti. Moscow, LKI Publ., 2009. 360 p.).

18. Korobov V. B. Sravnitel'nyy analiz metodov opredeleniya ve-sovykh koeffitsientov «vliyayushchikh faktorov» [Comparative analysis of methods for determining the weighting coefficients of "influencing factors"]. Sotsiologiya: Metodologiya, metody, matematicheskie modeli, 2005, no. 20, pp. 54-73.

19. Tatarova G. G. Kachestvennye metody v strukture metodologii analiza dannykh [Qualitative methods in the structure of the data analysis methodology]. Sotsiologiya: Metodologiya, metody, matematicheskie modeli, 2001, no. 14, pp. 33-52.