Программная реализация принятия решений с помощью метода анализа иерархий Текст научной статьи по специальности «Компьютерные и информационные науки»

Оригинальная статья/ Original article УДК 004.421.4

DOI: http://dx.d0i.0rg/l0.21285/1814-3520-2018-11 -145-158

ПРОГРАММНАЯ РЕАЛИЗАЦИЯ ПРИНЯТИЯ РЕШЕНИЙ С ПОМОЩЬЮ МЕТОДА АНАЛИЗА ИЕРАРХИЙ

© Л.А. Сологубова1, А.А. Кулаков3, Ф.Н. Байбекова3, О.В. Трунькина4, Н.М. Беспалова5

Краснодарское высшее военное училище им. генерала армии С.М. Штеменко, 350035, Российская Федерация, г. Краснодар, ул. Красина, 4.

РЕЗЮМЕ: Целью работы является выбор оптимального метода принятия решений при различных условиях и его программная реализация. Для достижения поставленной задачи был проведен сравнительный анализ методов принятия решений: метода анализа иерархий, метода Делфи, метода мозгового штурма. Требовалось найти универсальный метод принятия решений с возможностью обобщения мнений независимых экспертов, выявления противоречий в суждениях и учета влияния «человеческого фактора». В ходе проведения анализа были выявлены и обобщены достоинства и недостатки каждого метода. Наименее удовлетворяющим всем требованиям определен метод мозгового штура в силу большого влияния на решения экспертов внешних и внутренних факторов. Оптимальным методом принятия решений, соответствующим большинству требований, признан метод анализа иерархий. Этот метод уникален тем, что является одновременно и качественным и количественным, подтвержден теоретически и практически, подходит для решения как простых, так и сложных задач и учитывает «человеческий фактор». Метод анализа иерархий обоснован аксиоматически и подтвержден необходимым и достаточным числом теорем, которые превращают его в математически обоснованный подход для получения шкал предпочтений при решении сложных и важных проблем. Приведено математическое описание метода анализа иерархий и этапы программной реализации. Математический аппарат метода анализа иерархий позволяет декомпозировать исследуемую проблему на составляющие, разложив их по уровням, а также позволяет логически упорядочить суждения (параметры сравниваются попарно с определением степени предпочтения одного параметра над другим) и дать им количественную оценку в форме ответа, представляющего набор приоритетов относительной значимости альтернатив.

Ключевые слова: метод анализа иерархий, принятие решений, эксперт, экспертные оценки, метод Делфи, мозговой штурм, шкала относительной важности

Информация о статье: Дата поступления 20 сентября 2018 г.; дата принятия к печати 30 октября 2018 г.; дата онлайн-размещения 30 ноября 2018 г.

Для цитирования: Сологубова Л.А., Кулаков А.А., Байбекова Ф.Н., Трунькина О.В., Беспалова Н.М. Программная реализация принятия решений с помощью метода анализа иерархий. Вестник Иркутского государственного технического университета. 2018;22(11):145—158. DOI: 10.21285/1814-3520-2018-11-145-158.

DECISION-MAKING SOFTWARE IMPLEMENTATION USING HIERARCHY ANALYSIS METHOD

Larisa A. Sologubova, Andrei A. Kulakov, Fatima N. Baibekova, Ol'ga V. Trun'kina, Natal'ya M. Bespalova

1Сологубова Лариса Алексеевна, младший научный сотрудник, e-mail: sologubova_larisa@mail.ru

Larisa A. Sologubova, Junior Researcher, e-mail: sologubova_larisa@mail.ru

2Кулаков Андрей Анатольевич, начальник отдела, e-mail: sologubova_larisa@mail.ru

Andrei A. Kulakov, Head of the Department, e-mail: sologubova_larisa@mail.ru

3Байбекова Фатима Наильевна, младший научный сотрудник, e-mail: Fatima_n_b@mail.ru

Fatima N. Baibekova, Junior Researcher, e-mail: Fatima_n_b@mail.ru

4Трунькина Ольга Владимировна, кандидат экономических наук, ведущий научный сотрудник, e-mail: sologubova_larisa@mail.ru

Ol'ga V. Trun'kina, Cand. Sci. (Econ.), Leading Researcher, e-mail: sologubova_larisa@mail.ru

5Беспалова Наталья Михайловна, научный сотрудник, e-mail: sologubova_larisa@mail.ru Natal'ya M. Bespalova, Research Fellow, e-mail: sologubova_larisa@mail.ru

Krasnodar Higher Military School named after the General of the Army S. Shtemenko, 4, Krasin St., Krasnodar, Krasnodar Territory, 350035, Russian Federation

ABSTRACT: The purpose of the work is to select an optimal decision-making method under various conditions and software implementation of the method. The set purpose is achieved through the use of a comparative analysis of decision-making methods including the hierarchy analysis method, Delphi method and brainstorm method. It was required to find a universal method of decision-making with the possibility to generalize the opinions of independent experts identifying contradictions in judgments and taking into account the influence of the "human factor". The conducted analysis allowed to identify and summarize the advantages and disadvantages of each method. The "Brainstorm" method meets all the requirements least of all due to the large influence of external and internal factors on expert decisions. The optimal decisionmaking method that meets most of the requirements is recognized to be the hierarchy analysis method. The uniqueness of the method is determined by the fact that it is both qualitative and quantitative, it is confirmed theoretically and practically, it is suitable for solving both simple and complex problems and takes into account the "human factor". The hierarchy analysis method is justified axiomatically and is confirmed by the necessary and sufficient number of theorems that transform it into a mathematically grounded approach for obtaining the scales of preferences in solving complex and important problems. This paper gives a mathematical description of the hierarchy analysis method and the stages of its software implementation. The mathematical apparatus of the hierarchy analysis method allows to decompose the investigated problem into components, sort them into levels, as well as logically order the judgments (parameters are compared in pairs with determining the preference degree of one parameter over another) and give them a quantitative evaluation in the form of a response that represents a set of priorities for the relative importance of alternatives.

Keywords: hierarchy analysis method, decision-making, expert, expert evaluation, Delphi method, brainstorming, scale of relative importance

Information about the article: Received September 20, 2018; accepted for publication October 30, 2018; available online November 30, 2018.

For citation: Sologubova L.A., Kulakov A.A., Baibekova F.N., Trunkina O.V., Bespalova N.M. Decision-making software implementation using hierarchy analysis method. Vestnik Irkutskogo gosudarstvennogo tehnicheskogo universiteta = Proceedings of Irkutsk State Technical University. 2018;22(11):pp. 145-158. (In Russ.) DOI: 10.21285/1814-3520-201811-145-158/

Введение

Одной из основных задач, возникающих перед должностными лицами органов военного управления при разработке документов, является правильное определение степени секретности. В ходе проведения оценки специалист сталкивается со сложной системой взаимозависимых компонент (ресурсы, нормативные требования, желаемые цели и результаты, лица или группы лиц и т.д.), которые необходимо проанализировать. Возникают ситуации, когда требуется рассмотреть несколько вариантов решений независимых друг от друга специалистов, либо использовать коллективное мнение специалистов, а так же, когда отдельное лицо не берет на себя ответственность за принятие решений. Зачастую проведение таких оценок представляется проблематичным или невозможным по следующим причинам:

- при проведении оценок необходимо оценивать множество различных параметров, которые могут носить как количественный, так и качественный характер;

- отсутствие или недостаточность данных, определяющих параметры систем количественно;

- имеющиеся сведения носят только качественный характер;

- оценка производится на основе личного опыта, интуиции, субъективных суждений лица, принимающего решение;

- исследуемые процессы и системы настолько сложны и многообразны, что разработка их адекватных математических моделей не представляется возможной.

Для облегчения деятельности специалистов и повышения качества их работы целесообразно использовать системы поддержки принятия решений (СППР), основанные на методах математического моделирования, позволяющих получать количественные оценки эффектив-

ности функционирования исследуемых систем. СППР - автоматизированная система, целью которой является помощь специалистам, принимающим решение в сложных условиях для полного и объективного анализа предметной деятельности. СППР возникли в результате слияния управленческих информационных систем и систем управления базами данных.

В случаях невозможности проведения оценок с помощью других СППР целесообразно воспользоваться так называемыми методами экспертных оценок, основанными на знаниях и опыте специалистов (экспертов), полученных ими в ходе практической деятельности в той или иной предметной области. Экспертная оценка - оценка параметров процессов или предметов, которые невозможно непосредственно измерить, либо применить точные науки, поэтому оценка проводится на основании профессионального опыта специалистов. Экспертная оценка может быть описательная, качественная, приблизительная, количественная и т.д. Помимо констатирования существующих фактов экспертная оценка может содержать прогноз дальнейшего развития ситуации, процесса или присвоение процессу (документу, предмету) какого -либо статуса. Другими словами - это диагностический метод измерения, процедура получения оценки проблемы (процесса, документа) на основе мнения специалистов с целью последующего принятия решения (выбора). Экспертные оценки применяются на любом этапе исследования:

- в определении цели и задачи самого исследования;

- в построении и проверки гипотез;

- при выявлении проблемных ситуаций;

- в ходе интерпретации каких-либо процессов, событий или фактов;

- для обоснования адекватности используемого инструментария;

- в процессе выработки рекомендаций и т.д. [1]

Наиболее известными из методов экспертных оценок, применяемых для принятия решений являются: метод Делфи, мозговой штурм, метод анализа иерархий.

Метод анализа иерархий

Подробнее рассмотрим МАИ. Математический аппарат МАИ позволяет логически упорядочить суждения (какой из двух объектов приоритетнее и сравнительно на сколько) и дать им количественную оценку в форме ответа, представляющего набор приоритетов относительной значимости альтернатив, а так же позволяет декомпозировать исследуемую проблему на составляющие, разложив их по уровням. МАИ позволяет от простых суждений на уровне здравого смысла специалиста в данной предметной области с помощью сравнительно простого математического аппарата (теории матриц) перейти к обоснованным заключениям. Плюсы и минусы метода описаны в табл. 1.

Для выявления преимуществ были выбраны следующие характеристики методов экспертной оценки:

- универсальность метода;

- простота организации;

- простота расчетов;

- незначительность затрат времени и организационных усилий;

- наличие обратной связи между аналитической группой и специалистами;

- возможность обобщения мнений участников эксперимента;

- исключение влияния на специалиста со стороны других специалистов или внешнее влияние;

- возможность уменьшения колебаний по всей совокупности индивидуальных ответов;

- возможность прогнозирования событий при малом количестве информации;

- возможность учитывать «человеческий фактор» при подготовке принятия решения;

- возможность выявления противоречий в данных и их минимизации.

Далее представлена сравнительная таблица преимуществ МАИ (табл. 2).

Таблица 1

Плюсы и минусы МАИ

Table 1

_Pros and cons of the hierarchy analysis method_

Плюсы Минусы

Позволяет учитывать «человеческий фактор» при подготовке принятия решения Нет средств для проверки достоверности данных

Процедуры расчетов рейтингов достаточно просты Трудоемкий процесс формирования структуры модели принятия решений

Наличие больших возможностей для выявления противоречий в данных и их минимизации Не имеет внутренних средств для интерпретации рейтингов

Возможность привлечения специалистов, работающих независимо друг от друга над локальными задачами -

Таблица 2

Сравнительная таблица преимуществ методов экспертных оценок

Table 2

Comparative table of the advantages of expert evaluat ion methods

Характеристики методов экспертных оценок Метод Делфи Мозговой штурм МАИ

универсальность метода - + +

простота организации - +

простота расчетов - + +

незначительность затрат времени и организационных усилий - + -

наличие обратной связи между аналитической группой и специалистами + - -

возможность обобщения мнений участников эксперимента + + +

исключение влияния на специалиста со стороны других специалистов или внешнее влияние - - +

возможность уменьшения колебаний по всей совокупности индивидуальных ответов + -

возможность прогнозирования событий при малом количестве информации + -

возможность учитывать «человеческий фактор» при подготовке принятия решения - - +

возможность выявления противоречий в данных и их минимизация - - +

Таким образом, можно сделать вывод об уникальности метода анализа иерархий. Его уникальность заключается в том, что он является одновременно и качественным, и количественным. Будучи в основе качественным (так как используется информация о качественных сравнениях по лингвистическим критериям), метод позволяет количественно оценить приоритеты альтернативных решений. Кроме того, МАИ учитывает естественное мышление челове-

ка, принимающего решение, независимо от широты спектра проблемы и дает более общий подход, чем другие упомянутые методы. Это способствует полному и адекватному выявлению предпочтений лица (группы лиц), принимающего решение. Так же, оценка меры противоречивости использованных данных позволяет установить степень доверия к полученному результату [5].

МАИ обоснован аксиоматически и подтвержден необходимым и достаточным числом теорем, которые превращают его в математически обоснованный подход для получения шкал предпочтений при решении сложных и важных проблем.

Далее рассмотрим программную реализацию данного метода поэтапно. Математическую модель представим в виде дерева иерархий (рисунок).

Дерево иерархической структуры Hierarchical structure tree

1-й этап - структурирование проблемы выбора в виде иерархии или схемы (принцип декомпозиции).

Доминантная иерархия представляет собой перевернутое дерево с основой в вершине

[6].

Иерархия должна быть полной, т.е. каждый элемент заданного уровня функционирует, как показатель всех элементов нижестоящего уровня. Иерархия строится следующим образом:

- вершина - общая цель;

- второй уровень - факторы или показатели, уточняющие цель (р , ...,р) (выбор факторов должен быть проверен и подтвержден);

- третий уровень - альтернативные варианты решения (Ь, ., Ьп).

2-й этап - установление приоритетов показателей.

МАИ состоит в сведении экспериментальной оценки к последовательности суждений в форме попарного сравнения по специальной «Шкале относительной важности» (табл. 3) [7].

Таблица 3

Шкала относительной важности МАИ

Table 3

Scale of hierarchy analysis method relative importance

Степень важности Определение Пояснение

1 Одинаковая значимость Два действия (показателя) вносят одинаковый вклад в достижении цели

3 Некоторое преобладание Значимости одного показателя перед другим, слабая зависимость Опыт и суждения дают легкое предпочтение одному действию (показателю) перед другим

5 Существенная или сильная значимость Опыт и суждения дают сильное предпочтение одному действию (показателю) перед другим

7 Очень сильная или очевидная значимость Предпочтение одного действия (показателя) над другим очень сильно, его превосходство практически явно

9 Абсолютная значимость Свидетельство в пользу предпочтения одного действия (показателя) другому в высшей степени убедительно

2, 4, 6, 8 Промежуточные значения, между соседними значениями шкалы Ситуация, когда необходимо компромиссное решение

Обратные величины приведенных чисел Если при сравнении р с р2 присваивается одно из приведенных выше целых чисел (например, 3), то при сравнении р с р получаем обратную величину (т.е. 1/3) Если над диагональю - целое число, то под диагональю - его обратное значение

Рациональное значение Отношение, возникающее в заданной шкале -

Строится квадратная матрица размером пхп, где п - количество показателей (критериев).

Pi P2 P3 Pn

Pi а11 ai2 ai3 aij ain

P2 a21 a22 a23 a2 j a2n

P3 a3i a32 a33 a3j a3n

ап a 2 a,3 aj a in

Pn ani an2 an3 anj a nn

Попарные сравнения показателей ац осуществляются в терминах доминирования одного из элементов над другим. Эти суждения в шкале МАИ выражаются в целых числах. Если элемент р1 доминирует над элементом р2, то клетка квадратичной матрицы а12, соответствующей строке р и столбцу р2, заполняется целым числом по шкале относительной важности, а клетка а21, соответствующая строке р2 и столбцу р, заполняется обратным к нему числом. Если р и р2 эквивалентны, то в обе позиции записывается 1. Матрицы получаются положительными обратно симметричными, и необходимо произвести только определенное количество суждений ((п-1)/2), где п - количество сравниваемых критериев.

При этом не предполагается, что суждения специалистов полностью согласованы. На одном из последующих этапов метода проводится оценка согласованности путем расчета отношения согласованности (ОС). Если ОС превышает величину 0,20, то необходимо провести повторный опрос экспертов и уточнить данные матрицы суждений. Требование же обратной симметричности должно выполняться неукоснительно.

Для каждого следующего уровня иерархии по отношению к критериям из вышестоящего уровня строятся дополнительно п матриц (по количеству показателей размером тхт и заполняются аналогичным образом.

3-й этап - обработка результатов экспертного опроса, расчет необходимых величин.

Для каждой /-ой строки матрицы находим среднее геометрическое а по строке и записываем в правый дополнительный столбец матрицы:

a. — n

У

a.

(1)

Далее необходимо вычислить множество собственных векторов для каждой матрицы, а затем нормализовать результат, получая при этом нормализованный вектор приоритетов (НВП). Одним из способов получения собственных векторов является вычисление среднего геометрического [8]. Расчет НВП:

a = ■

a

a.

a + ■■■+a+...+an

En

J—\\

a,

j—\ j

(2)

Ifl — \

III <comment>

III Класс рассчета методом иерархий III <Icomment>

public class MAICounter {

III <comment>

III Метод подсчета методом иерархий

III <param="params"> Матрица парметров <Iparam>

III <Icomment>

public List<float> Counter(float[][] params)

{

i—1

// Средние геометрические каждой строки матрицы var averages = new List<float>;

// Для каждой строки рассчитаем среднее геометрическое

foreach (var str in params) {

var summ = Summator(str);

var count = str.Length();

var average = Average(summ, count);

averages.Push(average);

}

// Получаем сумму средних геометрических var averagesSumm = Summator(averages);

// НВП для каждой строки var nvpAverages = new List<float>;

// Для каждой строки получаем НВП

foreach (var average in averages) {

var nvp = Nvp(averagesSumm, average); nvpAverages.Push(nvp);

}

var check = Check(params, nvpAverages); return nvpAverages;

}

4-й этап - проверка согласованности локальных приоритетов путем расчета трех характеристик.

Полученные выше результаты используются для оценки согласованности матрицы. 1. Рассчитывается собственное значение матрицы:

Сначала суммируется каждый столбец суждений. Затем сумма i-го столбца умножается на величину i-ой компоненты нормализованного вектора приоритетов (так для всех столбцов).

n _

Aj =Ya1}, к = 1, n (3)

1=1

a=A, ■ a (4)

Полученные числа суммируются.

n

я = Та (5)

max / , 1 V /

1=1

Для обратно симметричной матрицы всегда Ятш. > n.

a11 ai2 ain

a21 a22 a2n aij

a3i a32 a3n

A A a in

Ai Л A Ятах

(б)

2. Рассчитывается индекс согласованности (ИС), который дает информацию о степени нарушений численной (кардинальной) и транзитивной (порядковой) согласованности.

Я — n

ИС =Лтах n , (7)

n — 1

где n - число сравниваемых элементов.

lll <comment>

III Проверка согласованности суждений Ill <param="params"> Матрица параметров <Iparam> Ill <param="nvpAverages"> Лист НВП для матрицы <lparam> Ill <lcomment>

private bool Check(float[][] params, List<float> nvpAverages) {

ll Получаем значение матрицы

var matrixValue = GetMatrixValue(params, nvpAverages);

ll Получаем модифицированные значения матрицы

var modifiedMatrixValue = GetModifiedMatrixValue(matrixValue, nvpAverages);

ll Получаем лямбду матрицы

var lambda = GetLambda(modifiedMatrixValue);

ll Рассчитываем индекс согласованности

var confirmationlndex = (lambda - nvpAverages.Length()) l (nvpAverages.Length() -

1);

ll Рассчитываем отношение согласованности

resutlConfirmation = confirmationlndex l randomln-

dex.GetByKey(nvpAverages.Length();

return resultConfirmation < 0.10 ? true : false;

}

3. Сравнивается полученная величина с величиной случайной согласованности (СС), определяемой теоретически для случая, когда оценки в матрице представлены случайным образом, и зависящую только от размера матрицы (табл. 4).

Таблица 4

Случайные согласованности для случайных матриц разного порядка

Table 4

Random consistencies for random matrices of different order

Размер матрицы/ matrix size (n) Случайная согласованность/random consistency (СС) Размер матрицы/ matrix size (n) Случайная согласованность/random consistency (СС)

1 0 9 1,45

2 0 10 1,49

S 0,58 11 1,51

4 0,9 12 1,48

5 1,12 1S 1,5б

б 1,24 14 1,57

7 1 ,S2 15 1,59

8 1,41 - -

/// <comment>

/// Коэффициенты случайной согласованности

private Dictionary<int,float> randomConfirmation = new Dictionary<int,float> {

{1,0},

I2,0}, IS,0.58},

I4,0.9}, {5,1.12},

|б,1.24}, {7,1.S2},

{8,1.41}, {9,1.45},

{10,1.49}, {11,1.51},

{12,1.48}, {1S,1.5б},

{14,1.57}, {15,1.59}

};

}

Отношение ИС к среднему СС для матрицы суждений того же порядка называется отношением согласованности (ОС):

ИС

ОС=—, при n = const (8)

СС

где n - количество элементов матрицы.

Величина ОС < 0,10 считается приемлемым порогом допустимой согласованности суждений. Если значение ОС > 0,10, то данные в той или иной матрице суждений необходимо уточнить.

Таблица 5

Форма таблицы сравнения критериев

Table 5

Form of the table of criteria comparison_

Pl P2 Pn Среднее геометрическое (по формуле (1)) НВП (по формуле (2))

Pl all al2 al j aln a a

P2 a2l a22 a2n a2 a2

aij

Pn anl an 2 anj ann an an

Я max по формуле (5)

ИС по формуле (7)

ОС по формуле (8)

5-й этап - попарное сравнение вариантов по каждому критерию. Аналогично тому, как это делалось для критериев. По каждому критерию заполняется таблица (табл. 6) и проводится проверка согласованности локальных приоритетов путем расчета трех характеристик (см. 4-й этап).

Таблица 6

Форма таблицы сравнения вариантов по критериям (заполняется по каждому j-му критерию сравнения pj, j = 1, n)

Table 6

Form of the table of option comparison by criteria (filled in for each j comparison criterion p, j = 1, n)

Pj b b2 bk Среднее геометрическое (по формуле (1)) НВП (по формуле (2))

b bl

b2 b2

bj

bk \ bk

Итого

Я* по формуле (5)

ИС j по формуле (7)

ОС j по формуле (8)

6-й этап - определение общего (глобального) приоритета для каждого варианта. НВП Ь по каждому критерию пер' на вышестоящем уровне и суммируются.

НВП b по каждому критерию перемножаются на НВП a соответствующего показателя

W=!â ■ b

j=i

W * = maxW

(9) (10)

7-й этап - проверка достоверности решения.

Для этого заполняется обобщающая таблица (таблица 7). Рассчитывается обобщенный индекс согласованности (ОИС) [9]:

O^=^HCj • a

(11)

j=i

Рассчитывается обобщенное отношение согласованности (ООС):

OИC

OOC=

CC

Форма таблицы расчета итоговых значений приоритетов

(12)

Таблица 7 Table 7

Form of tí he table of priority final value calculation

Pi P2 Pn Итоговые значения приоритетов (по формуле (8))

a a2 an

b hi b12 к W

b2 b21 b22 hn W2

h

bk К bk 2 bkn Wk

ИС И^ ИCn

ОИС по формуле (11)

ООС по формуле (12)

Решение принято, если величина ООС < 0,10 ^ 0,15.

public class CriteriaCounter {

}

III <comment>

III Класс рассчета методом иерархий III <Icomment>

private class MethodOfAnalisysIerarchie {

public Dictionary<string,List<float>> Result(Dictionary<string,List<float[][]>> data) {

n

n

var results = new Dictionary<string,List<float>>; var maiCounter = new MAICounter();

foreach(var elem in data) {

var result = maiCounter(elem.Value); results.Add(elem.Key, result);

}

return results;

}

}

Заключение

В данной работе приведена математическая модель и этапы ее реализации. Математический аппарат МАИ позволяет логически упорядочить суждения (какой из двух объектов приоритетнее и сравнительно на сколько) и дать им количественную оценку в форме ответа, представляющего набор приоритетов относительной значимости альтернатив, а так же позволяет декомпозировать исследуемую проблему на составляющие, разложив их по уровням.

Библиографический список

1. Экспертная оценка [Электронный ресурс] // Словарь бизнес терминов. URL: https://biznes-prost.ru/ekspertnaya-ocenka.html (13.10.2018)

2. Недашковский А. Мозговой штурм - это что такое? Оперативный метод решения проблемы // SYL.ru [Электронный ресурс]: URL: https://www.syl.ru/article/229865/new_mozgovoy-shturm---eto-chto-takoe-operativnyiy-metod-resheniya-problemyi (13.10.2018)

3. Сущность и черты метода Делфи [Электронный ресурс]: URL: https://vuzlit. ru/11086/suschnost_cherty_metoda_delfi (13.10.2018)

4. Соколов А. Российский Дельфи: методы и организации // VII Международная научная конференция «Модернизация экономики и общественное развитие» (5 апреля 2007 г., Москва). М.: Институт статистических исследований и экономики знаний ГУ-ВШЭ, 2010.

5. Кулаков А.А., Байбекова Ф.Н., Сологубова Л.А., Трунькина О.В. Принятие решений с помощью метода анализа иерархий // Инновации в науке. 2018. № 4 (80). С. 11-14.

6. Системный анализ в экономике [Электронный ресурс] // Финансовый университет при Правительстве РФ. URL: https://studfiles.net/preview/3348062/page:3/ (13.10.2018)

7. Саати Т. Принятие решений. Метод анализа иерархий / Пер. с англ. М.: Радио и связь, 1993. 320 с.

8. Омельченко И.Н., Пилюгина А.В., Иванов А.Г. Принятие решений о выборе рациональной структуры капитала предприятия на основе метода анализа иерархий. М.: Изд-во МГТУ им. Н.Э. Бау-мана, 2011.

9. Фурцев Д.Г., Коваленко А.Н., Ткаченко Е.А. Об оптимизации на основе метода анализа иерархий // Научные ведомости. Серия: История. Экономика. Информатика. 2014. № 1 (172). Вып. 29/1. С. 142-149.

References

1. Ekspertnaya otsenka [Expert evaluation]. Available at: https://biznes-prost.ru/ekspertnaya-ocenka.html (accessed 30 October 2018).

2. Nedashkovskii A. Mozgovoi shturm - eto chto takoe? Operativnyi metod resheniya problem [What is brainstorming it? Operational method of solving problems]. SYL.ru. Available at: https://www.syl.ru/article/229865/new_mozgovoy-shturm---eto-chto-takoe-operativnyiy-metod-resheniya-problemyi (accessed 13 October 2018)

3. Sushchnost't i cherty metoda Delfi [Delphi method essence and characteristics]. Available at: https://vuzlit.ru/11086/suschnost_cherty_metoda_delfi (accessed 13 October 2018)

4. Sokolov A. Rossiiskii Delfi: metody i organizatsii [Russian Delphi: Methods and Organizations]. VII Mezhdunarodnaya nauchnaya konferentsiya «Modernizatsiya ekonomiki i obshchestvennoe razvitie» [. VII International Scientific Conference "Modernization of Economy and Social Development"]. 5 April, 2007. Moscow, 2007.

5. Kulakov A.A., Baibekova F.N., Sologubova L.A., Trun'kina O.V. Prinyatie reshenii s pomoshch'yu metoda analiza ier-arkhii [Making decisions on the base of hierarchy analysis method]. Innovatsii v nauke [Innovations in Science]. 2018, no. 4 (80), pp. 11-14.

6. Sistemnyi analiz v ekonomike [System analysis in economy]. Available at: https:IIstudfiles.netIpreviewI3348062Ipage:3I (accessed 13 October 2018)

7. Saati T. Prinyatie reshenii. Metod analiza ierarkhii [Decision Making. Hierarchy Analysis Method]. Moscow: Radio i svyaz' Publ., 1993, 320 p.

8. Omel'chenko I.N., Pilyugina A.V., Ivanov A.G. Prinyatie reshenii o vybore ratsional'noi struktury kapitala predpriyatiya na osnove metoda analiza ierarkhii [Making decisions on choosing a rational structure of enterprise capital based on the hierarchy analysis method]. Moscow: MGTU named after N.E. Bauman Publ., 2011.

9. Furtsev D.G., Kovalenko A.N., Tkachenko E.A. On the optimization method based on the analytic hierarchy process. Nauchnye vedomosti. Seriya: Istoriya. Ekonomika. Informatika [Research Bulletin of Bel-gorod State University. Series: History. Economics. Informatics.]. 2014, no. 1 (172), issue 29I1, pp. 142-149. (In Russian)

Критерии авторства

Сологубова Л.А., Кулаков А.А., Байбекова Ф.Н., Трунькина О.В., Беспалова Н.М. имеют на статью равные авторские права и несут равную ответственность за плагиат.

Authorship criteria

Sologubova L.A., Kulakov A.A., Baibekova F.N., Trunkina O.V., Bespalova N.M. have equal author's rights and bear equal responsibility for plagiarism.

Конфликт интересов

Авторы заявляют об отсутствии конфликта интересов.

Conflict of interests

The authors declare that there is no conflict of interests regarding the publication of this article.