CC BY
37
Оригинальная статья / Original article УДК 004.89+658.5
DOI: http://dx.d0i.0rg/l0.21285/1814-3520-2018-3-63-78
МЕТОДИКА ЭКСПЕРТНОГО ОЦЕНИВАНИЯ КАЧЕСТВА ФУНКЦИОНИРОВАНИЯ ПРОИЗВОДСТВЕННО-ЭКОНОМИЧЕСКИХ СИСТЕМ НА ОСНОВЕ ЗНАНИЕВЫХ ТЕХНОЛОГИЙ
19 Я
© В.Л. Аршинский1, Л.В. Аршинский2, Доржсурэн Хишигсурэн3
Иркутский национальный исследовательский технический университет, 664074, Российская Федерация, г. Иркутск, ул. Лермонтова, 83. 2Иркутский государственный университет путей сообщения, 664074, Российская Федерация, г. Иркутск, ул. Чернышевского, 15. 3Институт транспорта,
210535, Монголия, Улан-Батор, р-н Баянгол, 2-й квартал, пр-кт Мира, 44.
РЕЗЮМЕ. ЦЕЛЬ работы - обсуждение особенностей агрегированного оценивания производственно-экономических систем с помощью логико-математического моделирования. МЕТОДЫ. Рассматривается методика экспертного оценивания качества функционирования производственно-экономических систем с помощью зна-ниевых технологий. В основу положено моделирование системы множеством нечетких продукций и вычисление агрегированной оценки в ходе присоединенного логического вывода на базе технологии экспертных систем. Затронуты вопросы назначения оценок функциональным элементам, степеней истинности нечетким продукциям, а также проблемы выбора закона агрегирования и дополнительных преобразований (калибровки) результата. РЕЗУЛЬТАТОМ исследования служит уточнение методики логико-аксиологического оценивания для производственно-экономических систем. ВЫВОДЫ. Степени истинности нечетких продукций задаются экспертами путем сочетания прямого оценивания с ранжированием компонентов системы по ценности. Оценки функциональным элементам назначаются аудиторами по л-балльной шкале, учитывающей состояние элементов. Агрегирование выполняется по «закону наименьших». В общем случае в алгоритм логико-аксиологического оценивания следует заложить процедуру калибровки результата.
Ключевые слова: агрегированное оценивание, база знаний, качество, нечеткий вывод, нечеткая логика, производственная система, экспертная система.
Информация о статье. Дата поступления 19 февраля 2018 г.; дата принятия к печати 01 марта 2018 г.; дата он-лайн-размещения 31 марта 2018 г.
Формат цитирования. Аршинский В.Л., Аршинский Л.В., Доржсурэн Хишигсурэн. Методика экспертного оценивания качества функционирования производственно-экономических систем на основе знаниевых технологий // Вестник Иркутского государственного технического университета. 2018. Т. 22. № 3. С. 63-78. DOI: 10.21285/18143520-2018-3-63-78
KNOWLEDGE TECHNOLOGY-BASED METHOD OF EXPERT ESTIMATION OF PRODUCTIVE-ECONOMIC SYSTEM OPERATION QUALITY
V.L. Arshinsky, L.V. Arshinsky, Dorjsuren Khishigsuren
Irkutsk National Research Technical University, 83, Lermontov St., Irkutsk, 664074, Russian Federation
1
Аршинский Вадим Леонидович, кандидат технических наук, доцент кафедры автоматизированных систем, e-mail: arshinskyv@mail.ru
Vadim L. Arshinsky, Candidate of technical sciences, Associate Professor of the Department of Automated Systems, e-mail: arshinskyv@mail.ru
2Аршинский Леонид Вадимович, доктор технических наук, доцент, заведующий кафедрой информационных систем и защиты информации, e-mail: larsh@mail.ru
Leonid V. Arshinsky, Doctor of technical sciences, Associate Professor, Head of the Department of Information Systems and Information Security, e-mail: larsh@mail.ru
3Доржсурэн Хишигсурэн, преподаватель, e-mail: khishigsurenkhishgee238@gmail.com Dorjsuren Khishigsuren, Lecturer, e-mail: khishigsurenkhishgee238@gmail.com
Irkutsk State Transport University,
15, Chernyshevsky St., Irkutsk, 664074, Russian Federation
Transport Institute of Mongolia
44, Peace Ave., 2nd quarter, Bayangol district, Ulaanbaatar, Mongolia
ABSTRACT. The PURPOSE of the paper is to discuss the features of logical mathematical modeling-based aggregate estimation of productive-economic systems. METHODS. The paper deals with the methods of expert estimation of the operation quality of productive-economic systems based on knowledge technologies. The study is based on modeling a system by means of the set of fuzzy productions and computing an aggregate evaluation as a logical inference based on the technology of expert systems. The paper discusses the issues of scoring of the functional elements, truth degrees for fuzzy productions as well as the problems of choosing the law of aggregation and additional transformations (calibration) of results. RESULTS. The result of this research is specified procedure of logical-axiological evaluation for productive-economic systems. CONCLUSIONS. The experts set the truth degrees of fuzzy productions by the combination of direct evaluation and ranking of system components in terms of value. The auditors assess the functional elements by the n-point scale taking into account the state of the elements. Aggregation is performed according to the "law of the least". In general, the algorithm of logical-axiological evaluation must also include the calibration of result. Keywords: aggregated evaluation, knowledge base, quality, fuzzy inference, fuzzy logic, production system, expert system
Information about the article. Received February 19, 2018; accepted for publication March 1, 2018; available online March 31, 2018.
For citation. Arshinsky V.L., Arshinsky L.V., Dorzhsuren Khishigsuren. Knowledge technology-based method of expert estimation of productive-economic system operation quality. Proceedings of Irkutsk State Technical University. 2018, vol. 22, no. 3, pp. 63-78. (in Russian). DOI: 10.21285/1814-3520-2018-3-63-78
Введение
Одной из проблем эффективного управления производственной системой является агрегированная оценка качества ее функционирования. Подобные оценки и методики их получения сегодня достаточно разнообразны. В работе рассматривается одна из таких методик, основанная на технологии экспертных систем. В ее основу положено описание системы продукционной базой знаний (БЗ), содержащей нечеткие продукции, а агрегат рассчитывается в ходе присоединенного логического вывода с последующими преобразованиями.
Производственная система является сложной иерархической системой, содержащей разнообразные компоненты, в качестве которых могут выступать подсистемы нижнего уровня иерархии и функциональные элементы - исполнительные звенья (низовые службы, подразделения или, при необходимости, отдельные работники4). Компоненты формируют свои вклады в общую функциональность и связаны между
собой. Оценку качества функционирования системы можно моделировать на основе знаниевых технологий. При этом общая задача разбивается на две последовательно решаемые подзадачи:
- моделирование структуры и взаимосвязей системы с помощью онтологий (онтологическое моделирование);
- преобразование онтологии в продукционную базу знаний с ядрами продукций вида
—С,-
(1)
где о, связано с компонентом С, системы соответствующего уровня иерархии, а о' - с непосредственно предшествующим ему и содержащим С, компонентом С' верхнего уровня (рис. 1). С, здесь и далее называем субкомпонентами компонента С", а С' - надкомпонентом компонентов С,.
4Балдин К.В., Воробьев С.Н., Уткин В.Б. Управленческие решения: учебник для вузов. 2-е изд. М.: Дашков и К°, 2006. 496 с. / Baldin K.V., Vorobiev S.N., Utkin V.B. Managerial decisions: Textbook for universities. Moscow: Dashkov and Co. Publ., 2006. 496 p.
Рис. 1. Производственная система как иерархия Fig. 1. Production system as a hierarchy
Надкомпонентом может выступать как сама система, так и любая из ее подсистем, компонентами нижнего уровня -функциональные элементы или подсистемы нижнего уровня. На рис. 1 система Э является надкомпонентом компонентов С1, С2 и Сз, которые служат ее субкомпонентами. В свою очередь С1 и Сз - надкомпонен-ты компонентов С11, С12 и С31, С32, которые являются их субкомпонентами. Компоненты С2, С11, С12, С31, С32 также являются функциональными элементами системы Б.
Каждая продукция (1) характеризуется истинностью, которая выражена числом из интервала [0,1], или, что более удобно с вычислительной точки зрения, числом из целочисленного множества 0^100. Истинность рассматривается как показатель ценности субкомпонента Сдля надкомпонента С'. Она определяет величину вклада С, в убыль С' в случае полной утраты С, [1, 2]. Сама оценка строится как прямой присоединенный вывод на продукционной БЗ, где исходные оценки функцио-
нальных элементов задаются аудиторами, оценивающими их состояние.
Известно, что правдоподобный вывод такого типа сопровождается расчетом истинности заключения на основе истинно-стей малой и большой посылок. Причем, если одно и то же заключение получено по различным цепочкам вывода, следует объединить полученные значения истинности. Эта процедура и легла в основу обсуждаемой методики. Однако возникает ряд вопросов:
1. Как задавать ценности компонентов.
2. Как задавать оценки функциональных элементов.
3. Какую функцию (функции) выбрать в качестве закона агрегирования.
4. Достаточными ли оказываются оценки, полученные в ходе присоединенного вывода, или их требуется подвергнуть еще каким-либо преобразованиям.
Настоящая статья посвящена их обсуждению.
Определение ценностей компонентов производственной системы
Задание ценностей компонентов -один из основных вопросов методики. От того, какова их ценность, зависят результаты расчетов. При этом можно исходить из двух взглядов: «натурального» и «оценочного». Под натуральным понимаем расчет ценностей и показателей исходя из реальных количественных характеристик систе-
мы, выраженных в безразмерных величинах. Например, для железнодорожных станций это может быть пропускная и перерабатывающая способность. Так, если за 1 принимать пропускную и перерабатывающую способность полноценно функционирующей станции, то 0,9 означает ее снижение на 10%. В этом случае ценность
компонента определяет потенциальное снижение пропускной и перерабатывающей способности при не функционировании (остановке, расформировании и т.п.) той или иной службы или подразделения. Однако такой взгляд чреват тем, что «за бортом» окажутся исполнительные звенья, не влияющие на перевозочный процесс непосредственно. Ликвидация или ухудшение качества работы такого звена если и сказывается на натуральных показателях, то опосредованно. Вследствие этого более перспективным представляется другой, оценочный подход.
При оценочном подходе предполагается, что показатели ценности и степень функциональности задаются экспертами. Такие оценки субъективны.
В теории принятия решений приняты различные способы субъективного оценивания. Наиболее простым выглядит непосредственное назначение числовых оценок. Для ценностей - это назначение ценностей компонентам исходя из представлений эксперта о степени убывания функциональности надкомпонента при утрате соответствующего субкомпонента. При этом шкала [0,1] и даже 100-балльная шкала выглядят излишне подробными, и оценки лучше назначать в лингвистической форме, связывая с каждым лингвистическим значением число из интервала [0,1] или множества 0^100. Табл. 1 приведена как таблица соответствий, где числовые значения указаны как для непрерывной, так и для целочисленной шкал.
В этом случае ценности могут задаваться исходя из приоритетности компонентов с точки зрения их влияния на перевозочный процесс. Наиболее важным считается тот компонент, утрата которого ведет, с точки зрения эксперта, к максимальному ущербу функциональности соответствующего ему надкомпонента. Причем в отличие от традиционных методик здесь можно вводить ключевые компоненты, утрата которых ведет к утрате (нефункционированию, «параличу в работе») надком-понента. Как уже говорилось, подобные модели субъективны. Однако они позволя-
ют принимать решения, когда опереться на естественные, натуральные числовые показатели трудно или невозможно.
Интересным приемом назначения ценности компонентам является метод весовых коэффициентов Фишберна [3], используемый в задачах принятия решений (см. например [4-7]). Согласно этому методу числовые значения ценности можно задать, ранжируя компоненты С, по убыванию с последующим присвоением им числовых значений по правилу
2 • (n +1 - i )
г n(n +1)
(2)
где -,сг ^ С || - ценность компонента
С, для С', рассчитываемая по методу Фишберна; п - число компонентов С, в над-компоненте С"; / - номер ранга компонента С,. Причем, чем выше ранг (ценней компонент), тем меньше Наивысшим рангом (наивысшей ценностью) обладает компонент с номером 1.
Формула (2) работает при строгой упорядоченности всех компонентов, когда число рангов равно числу компонентов п: ^{^...п}. В случае нестрогого порядка, когда какие-либо пары компонентов могут совпадать по рангу, соответствующие коэффициенты предлагается рассчитывать по рекуррентной схеме [7]:
r, если С
i-i
С ;
+1, если См >- Сг
Здесь запись См « С, показывает, что ранги равны; См >- С, - ранг См превышает ранг С/.
После этого
œ =
1 n
Ir
1=1
где i - номер компонента в ранжированном списке; rn = 1.
Таблица 1
Соответствие числовых и лингвистических значений ценности
Table 1
Correspondence of numeric and linguistic senses of value
Лингвистическое значение ценностии / Linguistic sense of value Содержательный смысл / Conceptual meaning Числовое значение / Numerical value
Нулевая/ Zero Утрата компонента C,■ никак не влияет на функциональность надкомпонента C / Loss of the component Ci has no affect on the functionality of the subcomponent C 0 (0)
Очень малая / Very low Утрата компонента C практически не влияет на функциональность надкомпонента C / Loss of the component Ci practically does not affect the functionality of the subcomponent C 0,1 (10)
Малая / Low Утрата компонента Cj слабо влияет на функциональность надкомпонента C / Loss of the component Ci insignificantly affects the functionality of the subcomponent C 0,3 (30)
Средняя / Average Утрата компонента Ci заметно влияет на функциональность надкомпонента C / Loss of the component Ci noticeably affects the functionality of the subcomponent C 0,5 (50)
Большая / Big Утрата компонента Ci сильно влияет на функциональность надкомпонента C / Loss of the component Ci significantly affects the functionality of the subcomponent C 0,7 (70)
Очень большая / Very big Наличие компонента Ci принципиально необходимо для функционирования надкомпонента C / Presence of the component Ci is essential for the operation of the subcomponent C 0,9 (90)
Ключевая / Key Утрата компонента Ci влечет нефункционирование (остановку в работе) надкомпонента C' / Loss of the component Ci stops the operation of the subcomponent C 1,0 (100)
При этом системе безразличных друг другу п альтернатив отвечает набор равных ценностей:
1
а1 =-.
п
Пример, взятый из [7], представлен в табл. 2.
Использование коэффициентов Фишберна заменяет задачу прямого назначения ценностей задачей ранжирования компонентов С,. При этом ранг компонента тем выше (номер , тем меньше), чем больший ущерб, по мнению эксперта, понесет О' при утрате С,.
Замена назначения ценностей ранжированием существенно упрощает экспертное оценивание. Однако легко заме-
тить, что при четырех и более классах эквивалентности по рангам самые слабые альтернативы в этой системе воспринимаются как компоненты с очень малой ценностью, а самый значимый компонент (компоненты) имеет не более чем среднюю ценность, если ориентироваться на табл. 1. При этом убыль характерных значений с ростом п идет по закону
1
аг ~ ■
Кроме того, при таком оценивании невозможны ключевые и нулевые по ценности компоненты.
Относительная «сложность» схемы Фишберна связана с необходимостью обеспечения равенства суммы коэффициентов единице. При логико-аксиологическом подходе необходимости в этом нет. Поэтому здесь можно воспользоваться более простой интервальной проце-
дурой преобразования рангов в количественные показатели по следующей методике (здесь и далее речь идет о субкомпонентах СI некоторого компонента С):
1. Разбить множество компонентов {С/}, /=1,...,п, на систему К непересекающихся подмножеств {Нк} так, что
к
/?/с?о/?/(2=0, при к^к2, и и^д ={С,}. При
А-=1
этом, если компоненты Си и С22 таковы, что Си « С¡2, они принадлежат одному множеству Нк, а если нет, то разным. Условимся считать, что если СиУ С22 и Си^нки, а С12^Нк2, то ¡Н^УНк2 и ки<к2. То есть Нк - множество компонентов одного ранга, а сами подмножества упорядочены согласно рангам образующих их компонентов. Подмножества и НК ассоциируем с ключевыми и нулевыми компонентами соответственно (при этом они могут быть пустые).
Примеры коэффициентов Фишберна Examples of Fishburn coefficients
Таблица 2 Table 2
n Предпочтения/ Preferences ai a2 a3 a4
2 Ci « C2 1/2 1/2 - -
Ci У C2 2/3 1/3 - -
Ci « C2 « C3 1/3 1/3 1/3 -
3 Ci У C2 « C3 2/4 1/4 1/4 -
Ci « C2 У C3 2/5 2/5 1/5 -
Ci У C2 У C3 3/6 2/6 1/6 -
Ci « C « C3 « C4 1/4 1/4 1/4 1/4
Ci У C2 « C3 « C4 2/5 1/5 1/5 1/5
Ci « C2 У C3 « C4 2/6 2/6 1/6 1/6
4 Ci « C2 « C3 У C4 2/7 2/7 2/7 1/7
Ci У C2 У C3 « C4 3/7 2/7 1/7 1/7
Ci У C2 « C3 У C4 3/8 2/8 2/8 1/8
Ci « C2 У C3 У C4 3/9 3/9 2/9 1/9
Ci У C2 У C3 У C4 4/10 3/10 2/10 1/10
n
2. Каждому подмножеству кроме Н1 и ставим в соответствие число из интервала [0,1] так, чтобы эти числа делили данный отрезок на равные или примерно равные (в силу округления) подинтерва-лы. Таких подинтервалов К-1.
3. Объявляем полученные числа ценностями компонентов из соответствующих подмножеств. Ключевым и нулевым компонентам, если они имеются, присваиваются значения ценности, равные 1 и 0.
При необходимости эта процедура очевидным образом трансформируется на случай целочисленных ценностей, например 0^100. Пример из табл. 2 будет выглядеть, как показано в табл. 3 (ключевые и нулевые компоненты, если они есть, не рассматриваем).
Убывания ценности с увеличением числа компонентов здесь не происходит.
Отметим, что условие равенства подинтервалов ниоткуда не следует, это своего рода эвристика. Каждый из подходов -прямой и ранговый - имеет определенные недостатки. Первый требует от эксперта
количественных представлений о степени убывания функциональности надкомпонен-та с утратой того или иного компонента С. Второй не позволяет использовать знания эксперта об утрате функциональности, если оно есть. В связи с этим представляется целесообразным объединить их следующим образом:
1. Разбить множество {С} на классы эквивалентности по рангам и упорядочить ранги согласно ценности.
2. Каким-то из классов, если таковые с точки зрения эксперта имеются, назначить ценности прямым образом.
3. Для ранжированных классов, которым ценности назначить не удалось, назначить их с помощью интервалов так, чтобы интервал между группами с известными (заданными прямым образом) ценностями разбивался на равные подинтервалы числом пк-1,к +1, где пк-1,к - количество рангов (классов эквивалентности по рангу), попавших между соседними рангами Нк-1 и
ценность которых указана напрямую.
Примеры значения ценностей по интервальному методу Examples of sense of values by the interval method
Таблица 3 Table 3
n Предпочтения / Preferences ai a2 a3 a4
2 Ci « C2 1/2 (50) 1/2 (50) - -
Ci У C2 2/3 (67) 1/3 (33) - -
Ci « C2 « C3 1/2 (50) 1/2 (50) 1/2 (50) -
3 Ci У C2 « C3 2/3 (67) 1/3 (33) 1/3 (33) -
Ci « C2 У C3 2/3 (67) 2/3 (67) 1/3 (33) -
Ci У C2 У C3 3/4 (75) 2/4 (50) 1/4 (25) -
Ci « C « C3 « C4 1/2 (50) 1/2 (50) 1/2 (50) 1/2 (50)
Ci У C2 « C3 « C4 2/3 (67) 1/3 (33) 1/3 (33) 1/3 (33)
Ci « C2 У C3 « C4 2/3 (67) 2/3 (67) 1/3 (33) 1/3 (33)
4 Ci « C2 « C3 У C4 2/3 (67) 2/3 (67) 2/3 (67) 1/3 (33)
Ci У C2 У C3 « C4 3/4 (75) 2/4 (50) 1/4 (25) 1/4 (25)
Ci У C2 « C3 У C4 3/4 (75) 2/4 (50) 2/4 (50) 1/4 (25)
Ci « C2 У C3 У C4 3/4 (75) 3/4 (75) 2/4 (50) 1/4 (25)
Ci У C2 У C3 У C4 4/5 (80) 3/5 (60) 2/5 (40) 1/5 (20)
Следует заметить, что проиллюстрированный в табл. 2 метод уже частично реализует эту идею, поскольку в нем ключевые и нулевые компоненты назначаются прямым образом, а всем остальным компонентам присваивается ценность с учетом их рангов, исходя из равномерного разбиения интервала [0,1] на подинтервалы. Объединенный метод доводит этот прием до логического завершения.
Обзор различных методов выбора весовых коэффициентов представлен в [4].
Различные вопросы экспертного оценивания при принятии решений освещаются также в источниках [8-23] и других. Они используются для решения соответствующих управленческих [5, 8, 9], экономических [6, 7, 10, 11], технических [11-16] и иных задач. Работа [17] интересна критикой популярного среди специалистов метода анализа иерархий [18]. Систематические описания и анализ соответствующих методов представлены в работах4 [5, 6, 8, 9, 15, 19-23].
Оценка функциональных элементов
При выставлении оценок функциональным элементам - должностным лицам или службам (если в них не выделяются отдельные работники), исходим из прямого оценочного подхода. В этом случае каждому элементу по результатам его работы проверяющим (аудитором) выставляется оценка, которая априори субъективна. Такой подход достаточно распространен при анализе систем с участием человека. Безусловно, аудитор может выставлять оценку, исходя из «натуральных» показателей работы элемента. Она носит безразмерный характер и потому может участвовать в агрегировании наряду с другими такими же оценками других функциональных элементов. При этом возможно проставление оценок непосредственно по шкале [0,1], или, что более удобно, по целочисленной шкале 0^100, а также по более привычным шкалам - 5-, 7-, 10-, 12-балльной и т.д. Для перевода последних в 100-балльную (100%-ю) и обратно можно воспользоваться опытом, накопленным в сфере образовательных технологий. Например, в работе В.А. Красильниковой5 для результатов тестирования предлагается следующее соответствие:
- оценка «5» («отлично») выставляется испытуемым за верные ответы, кото-
рые составляют не менее 91% от общего количества вопросов;
- оценка «4» соответствует работе, которая содержит от 71 до 90% правильных ответов;
- оценка «3» соответствует от 70 до 50% правильных ответов;
- работа, содержащая менее 50% правильных ответов, оценивается как неудовлетворительная.
Близкие к нему соответствия приведены в [24, 25].
Соответствие между 100-балльной шкалой и некоторыми другими системами оценок дано в работах [26] и [27].
Интересно, что тестовый балл как доля правильных ответов может рассматриваться как оценка не в порядковой, а в абсолютной шкале, поскольку, например, результат 0,6 (или 60%) при равной трудности или значимости заданий означает, что испытуемый выполнил правильно в два раза больше заданий, чем испытуемый с оценкой 0,3 (30%).
В связи с вышесказанным можно предложить следующее соответствие для 5-балльного оценивания:
- (0,9; 1] - для «отлично»;
- (0,8; 0,9] - «хорошо»;
- (0,6; 0,8] - «удовлетворительно»;
5Красильникова В.А. Подготовка заданий для компьютерного тестирования: метод. рекомендации. Оренбург: Изд-во ОГУ, 2004. 31 с. / Krasilnikova V.A. Preparation of tasks for computer testing: methodological recommendations. Orenburg: Orenburg State University Publ., 2004, 31 p.
- (0; 0,6] - «плохо»;
- 0 - выделен, чтобы зафиксировать факт нефункционирования или фактического отсутствия элемента.
На целочисленном множестве 0^100 им соответствуют подмножества: 91^100; 81^90; 61^80; 1*60 и 0 соответственно.
В ходе проверки аудитор может выставлять оценки по 100-балльной шкале с последующим переводом результата (агрегата) в 5-балльный результат, либо сразу оперировать 5-балльной шкалой со следующим соответствием:
- «отлично» - 1 (либо 100 при целочисленном оценивании);
- «хорошо» - 0,85 (85);
- «удовлетворительно» - 0,7 (70);
- «плохо» - 0,3 (30);
- «0» - 0.
Единица для оценки «отлично» выбрана, чтобы зафиксировать факт полноценного функционирования элемента, ноль - фактическое отсутствие элемента. В остальных случаях в качестве оценки выбрана середина соответствующего интервала.
При необходимости 5-балльная шкала может быть заменена на 7-, 10-, 12-балльную или любую иную по такому же принципу. Например, для 7-балльной шкалы это:
- 1 - «превосходно»;
- (0,9; 1) - «очень хорошо» (0,95 либо 95 при обратном соответствии);
- (0,8; 0,9] - «хорошо» (0,85
либо 85);
- (0,6; 0,8] - «удовлетворительно» (0,7 либо 70);
- (0,3; 0,6] - «плохо» (0,45 либо 45);
- (0; 0,3] - «очень плохо» (0,15 либо 15);
- 0 - элемент отсутствует.
Если используется 5-балльная шкала, можно предложить следующие критерии балльности при оценке производственных систем:
- «отлично» - замечаний к функционированию элемента нет, либо ими с точки зрения аудитора можно пренебречь;
- «хорошо» - есть отдельные замечания, слабо влияющие на функциональность элемента;
- «удовлетворительно» - функциональность элемента снижена, но не критическим образом;
- «плохо» - качество функционирования элемента снижена критически, что ставит под вопрос его работоспособность;
- «0» - элемент не функционирует полностью, отсутствует в системе, либо разрушен (и т.п.).
Нужно отметить, что большие размеры подинтервалов в «неудовлетворительной» части вышеуказанных шкал оправданы тем, что с точки зрения принятия управленческих решений не принципиально, насколько плох тот или иной компонент. В любом случае он требует серьезного управленческого вмешательства.
Выбор закона агрегирования
В работе [1] представлен ряд законов для объединения свидетельств в ходе логического вывода. В качестве функций могут выступать законы усреднения (среднее арифметическое, среднее геометрическое и т.п.), а также известные в нечеткой математике и и 5-нормы (1-конормы). Выбор закона агрегирования также зависит от натурального либо оценочного подхода. При натуральном подходе закон агрегирования должен отражать естественные количественные закономерности накопления
соответствующих показателей и в этом смысле может рассматриваться как полноценная количественная модель. При оценочном подходе столь жесткое требование отсутствует, здесь важны результаты в виде упорядочения по принципу «лучше-хуже». Однако качественная зависимость типа «чем хуже работают функциональные элементы, тем хуже работает система в целом» должна выполняться. Оценки при этом отражают меру работоспособности, функциональности компонентов. Как из-
вестно, несмотря на серьезную критику6, при сворачивании частных оценок в агрегат нередко стремятся получить результат на основе средних (средневзвешенных) оценок. Рассматриваемая методика позволяет строить БЗ для такого оценивания (см., например, [28]). Однако кроме усреднения могут применяться триангулированные (треугольные) нормы и конормы. В [1, 2] отмечается, что выбор подходящего закона агрегирования целесообразно подчинить задаче, для которой выполняется агрегирование. Поскольку управляющие воздействия необходимы в первую очередь при снижении эффективности системы, выбор соответствующего закона целесообразно осуществлять исходя из принципа выработки заключения о ее низкой эффективности. При этом исходим из того, что любой компонент рассматриваемых систем является необходимым и ни один в отдельности не является достаточным для ее функционирования. В соответствии с техникой, изложенной в [1], агрегируются ущербы функциональности, определяемые выражением
Ье, (С) = Ле(Сг. >(Сг, С), или, что то же самое, шагом вывода
—С, —с ^ —¡с' |—Iс' :|| —¡с' ||=|| —с II' IIV II.
Здесь Ав(С) - ущерб эффективности компонента С', обусловленный снижением (ущербом) эффективности субкомпонентов С; КСО - ценность субкомпонента СI для С'; —сI - высказывание о нефункциональности С; —с - высказывание о нефункциональности С'; —,сг. с' - высказывание о том, что нефункциональность С/ влечет нефункциональность С'; ||...|| - истинность соответствующего высказывания.
Агрегирование выполняется как шаг вывода следующего типа [1]:
—c,c —c' I—c :|| —ic' ||x =|| c || • || c —^ —c'
—c' :|| —c ||= Agr(|| —c ||i,...,|| —c ||n).
Здесь Л^(Ц —с'||1,...,|| —с'||и) -
функция (закон) агрегирования частных вкладов в ущерб в общий ущерб функциональности надкомпонента С'.
Разберем следующие законы агрегирования:
A. Усредняющее агрегирование.
B. Агрегирование на основе ¿-норм.
C. Агрегирование на основе ¿-конорм.
Зачастую выбор того или иного закона осуществляется из соображений его удобства, привычности, эффективности при решении аналогичных задач. Попробуем взглянуть на эту проблему с точки зрения лица, принимающего решения (ЛПР).
А. Усредняющее агрегирование проводится в первую очередь на основе среднего арифметического (а также среднего арифметического взвешенного). При данном подходе господствует представление, что итоговая эффективность системы и ее подсистем оценивается в среднем. При этом недоработки и даже «провалы» в одной части, с точки зрения ЛПР, вполне могут компенсироваться успехами в другой. Оценка на основе среднего арифметического покажет низкий результат, только если плохи все частные оценки. Введение коэффициентов важности (в нашем случае - ценностей) заставляет заострить внимание на наиболее существенных составляющих, но общая парадигма при этом не изменится. Такая точка зрения достаточно распространена при принятии решений. Однако в этом случае невозможен учет ключевых компонентов.
6Орлов А.И. Теория принятия решений: учеб. пособие. М.: Экзамен, 2005. 656 с. / Orlov A.I. Theory of decisionmaking: Learning aids. Moscow: Examen Publ., 2005, 656 p.
Агрегирование на основе среднего геометрического или среднего гармонического имеет свои особенности. В этом случае также возможна компенсация «провалов» по одним направлениям «успехами» по другим. Однако компенсировать тем сложнее, чем серьезнее провал. При этом невыполнение функций хотя бы одним компонентом влечет невыполнение функций всей системой или соответствующей подсистемой. Как следствие, при бездеятельности каких-либо компонентов (даже одного) становится невозможным «спрятать» нефункциональность этих компонентов за «успехами» других. Однако менее удачным такое агрегирование выглядит в случае, когда агрегируются ущербы (как в нашем случае). Нулевой ущерб в работе любого из субкомпонентов означает 100%-ю успешность соответствующего надкомпонента. С точки зрения ЛПР, это означает высокую общую оценку за хорошую работу хотя бы одной службы. На практике подобный взгляд обычно не используется.
Более разумным при усреднении выглядит закон медианы. В нашем случае «плохая» медиана означает низкую функциональность более половины подразделений и служб предприятия. Но ими также могут оказаться второстепенные службы.
B. Агрегирование на основе ^норм. Данный вид агрегирования не годится для объединения ущербов по тем же соображениям, что и усреднение на основе среднего геометрического или среднего гармонического. Здесь ущерб в функциональности надкомпонента связан только с ущербом во всех субкомпонентах, что неприемлемо, поскольку нельзя считать успешными службу или подразделение, где хорошо работает хотя бы один сотрудник.
C. Агрегирование на основе ^конорм. В [1, 2] в качестве законов агрегирования ущербов выбраны йконормы. В общем случае они обеспечивают рост ущерба функциональности надкомпонента при ущербе функциональности любого из его субкомпонентов. Это выглядит разумным, но возникает проблема выбора под-
ходящей конормы. Рассмотрим их подробнее.
Аддитивная конорма min(1,x+y). Этот закон во многом похож на агрегирование по среднему арифметическом взвешенному. Если сумма ценностей субкомпонентов равна 1, то агрегированный ущерб по этому закону равен среднему ущербу при весовых коэффициентах, равных ценностям. Однако если их сумма превышает 1, максимальный ущерб функциональности возникает при некачественной работе лишь части соответствующих компонентов. С точки зрения ЛПР, это означает признание какой-либо подсистемы или системы в целом нефункционирующей, если суммарный ущерб превышает определенный порог. Таким образом, это вполне приемлемая стратегия принятия решений. Но при этом накопление ущербов может вестись по второстепенным (малоценным) компонентам, что не всегда целесообразно.
Мультипликативная конорма x+y-xy. Здесь также происходит накопление всех выявленных ущербов. При этом основной вклад в результат вносят субкомпоненты с наибольшими вкладами в агрегат соответствующего надкомпонента или системы в целом. Если же наиболее значимые компоненты функционируют нормально, общий и формально неприемлемый ущерб накапливается благодаря второстепенным компонентам, как в предыдущем случае.
Пессимативная конорма max(x,y). Пессимативное агрегирование предполагает, что общий ущерб функциональности надкомпонента определяется наихудшей из его составляющих с учетом ценности. С точки зрения авторов, это означает применение «закона наименьших» по А.А. Богданову - одного из основных законов функционирования многих систем, включая производственные [29]. Такая позиция также используется при принятии решений. Серьезным доводом в пользу данной стратегии является фактическое требование к руководителю обеспечивать качественную работу всех подчиненных ему подразделений и служб независимо от их места в произ-
водственном процессе. В этом случае оценка может быть снижена за некачественную работу даже второстепенной
службы, хотя и с учетом ее ценности. Представляется целесообразным опираться именно на этот закон.
Дополнительные преобразования
В заключение обсудим вопрос достаточности оценок, полученных в ходе присоединенного вывода и необходимости дополнительных преобразований. Выше говорилось, что основой для получения агрегированных показателей производственной системы могут служить натуральные либо оценочные показатели функциональных элементов. При этом отмечалось, что если процедура оценивания отражает реальные количественные взаимосвязи, она может рассматриваться как полноценная количественная модель, а значит, дополнительных преобразований не требуются. В случае оценочного подхода ситуация иная. Как следует из предыдущего, агрегирование осуществляется на основе тех или иных законов, включая нелинейные. Это приводит к тому, что при равномерном убывании показателей исполнительных звеньев агрегат убывает неравномерно: медленнее в одних диапазонах, быстрее в других (см. рис. 2). В результате, например, оценка «хорошо» для функциональных элементов может превратиться в оценку «отлично» для агрегата или наоборот. Для решения этой проблемы предлагается дополнить вышеописанную процедуру преобразованием, учитывающим это обстоятельство (рис. 3).
В основу преобразования положено представление, что агрегированная оценка системы в целом должна совпадать с оценками функциональных элементов, когда все они равны друг другу:
V (/(/) = /) ) = /.
Здесь //, / = 1, N - функциональные элементы системы Б; N - общее количество функциональных элементов; /(//), /(Б), / - характеризующие числа.
Аналогичная точка зрения приво-
дится, например, в [16].
Технически это реализуется достаточно просто. Пусть ¥(2И,.■■,XN)=X(Б) -функция (алгоритм), преобразующая характеризующие числа функциональных элементов в характеризующее число системы /(Б). Тогда:
1) строится калибровочная функция
*
¥ (0=¥ (хк,хк,...,хг0, где Се[0,1];
2) в ходе калибровки рассчитывается итоговая оценка результата с помощью обратной функции /(Б) = ¥ '(/(Б)).
Фактически речь идет о преобразовании исходной равномерной шкалы /(Б) в
*—1
неравномерную шкалу ¥ 1(х(Б)). Алгоритмически она с подходящей точностью выполняется следующим образом (см. рис. 3):
1. Шкала значений характеризующих чисел функциональных компонентов разбивается на равные отрезки точками {0, 1/к, 2/к,., (к-1)/к, 1}.
2. Рассчитываются агрегаты:
*
¥ (0,0,...,0)=х 0 = 0;
*
¥ (1/к,1/к,...,1/к)=х 1;
¥ ((к-1 )/к,(к-1 )/к, .,(к-1 )/к)=х к-1;
*
¥ (1,1,.,1)=х к=1.
3. Для полученного значения /(Б)
находятся соответствующие ему интерва-
* *
лы [к'/к,(к'+1)/к] и [/к'; /к+1] такие, что
* *
x(S)e[Xk'; Xk'+i], где k ' = 1, к -1.
4. Результирующее значение рассчитывается по формуле
Х*(£ ) = — + 1 -X(S ) Xk'
k k Xk'+1 Xk'
1
0,9 0,8 0,7 0,6 0,5 0,4 0,3 0,2 0,1 0
0 0,1 0,2 0,3 0,4 0,5 0,6 0,7 0,8 0,9 1 мульт — — — ср.геом
Рис. 2. Нелинейная зависимость значений агрегатов (ось ординат) для двух законов агрегирования при различных значениях характеризующих чисел функциональных элементов
(ось абсцисс)
Fig. 2. Nonlinear dependence of aggregate values (ordinate axis) for two aggregation laws at different values of the characterizing numbers of functional elements (abscissa axis)
0 0.2 x-iS) 0.4 0.6 0.8 i i
Характеризующие числа функциональных элементов / Characterizing numbers of functional elements
Рис. 3. Иллюстрация к алгоритму калибровки. Здесь %(S) = 0,7 - исходное значение характеризующего числа; %'(S) = 0,3 - характеризующее число, полученное с помощью
калибровки; k = 5; k' = 1; xl = 0.6; = 0.8.
Fig. 3. Illustration to the calibration algorithm. Where %(S) = 0.7 is the initial value of the characterizing number; x(S) = 0.3 is characterizing number obtained with the help of
calibration; k = 5; k' = 1; = 0.6; = 0.8.
С учетом качественного характера расчетов представляется, что линейной аппроксимации здесь вполне достаточно.
Содержательно это означает, что исходный агрегат /(Б) преобразуется в новое значение /(Б), равное значению £ при котором ¥ (С,С,.,0=/(Б).
Заключение
По результатам выполненной работы предлагается следующее:
1. Задавать истинности нечетких продукций (ценности компонентов производственно-экономической системы) путем разбиения множества субкомпонентов {С}} на классы эквивалентности по отношению предпочтения (с точки зрения ценности) с последующим:
- ранжированием классов;
- прямым назначением ценности для части классов;
- вычислением ценности оставшихся на основе разбиения интервала значений оценок [0,1] на соответствующие подинтер-
валы.
2. В качестве оценок работы исполнительных (низовых) звеньев использовать прямое п-балльное оценивание аудиторами, учитывающее состояние звеньев (функциональных элементов).
3. Для агрегирования ущербов функциональности компонентов использовать «закон наименьшего» - ¿-конорму тах(х,у), что формирует оценку по наихудшему компоненту с учетом его ценности.
4. Включить в методику оценки преобразование результата с помощью калибрующей функции по соответствующему алгоритму.
Библиографический список
1. Аршинский Л.В. Логико-аксиологический подход к оценке состояния систем // Современные технологии. Системный анализ. Моделирование. 2013. № 3 (39). С. 140-146.
2. Аршинский Л.В. Методика агрегированного оценивания систем с поддержкой ключевых компонентов // Онтология проектирования. 2015. № 2 (16). С. 233-245. https://doi.org/10.18287/2223-9537-2015-5-2-223-232
3. Фишберн П. Теория полезности для принятия решений. М.: Наука, 1978. 352 с.
4. Постников В.М., Спиридонов С.Б. Методы выбора весовых коэффициентов локальных критериев // Наука и образование. МГТУ им. Н.Э. Баумана. 2015. № 06. С. 267-287. https://doi.org/10.7463/0615.0780334
5. Баранов Ю.Г. Методы принятия управленческих решений. Псков: Изд-во ПГУ, 2013. 176 с.
6. Потапов Д.К., Евстафьева В.В. О методиках определения весовых коэффициентов в задаче оценки надежности коммерческих банков // Социально-экономическое положение России в новых геополитических и финансово-экономических условиях: реалии и перспективы развития: сб. науч. ст. СПб.: Изд-во Института бизнеса и права. 2008. Вып. 5. С. 191-196.
7. Недосекин А.О. Оценка риска бизнеса на основе нечетких данных. СПб.: Сезам, 2004. 100 с.
8. Мадера А.Г. Моделирование и принятие решений
в менеджменте. Руководство для будущих топ-менеджеров. М.: ЛКИ, 2010. 688 с.
9. Михайлов Я.В. Управленческие решения: пособие для управленцев-практиков. М.: Экономика, 2011. 143 с.
10. Некрестьянова Ю.Н. Теоретическое обоснование анализов Парето // Предпринимательство. 2013. № 3. С. 56-64.
11. Митяков Е.С., Корнилов Д.А. К вопросу о выборе весов при нахождении интегральных показателей экономической динамики // Труды Нижегородского государственного технического университета им. Р.Е. Алексеева. 2011. № 3 (90). С. 289-299.
12. Шилин А.И. Коптелова И.А. Теория принятия решений в проектировании информационно-измерительной техники. Волгоград: Изд-во ВолГУ,
2012. 128 с.
13. Постников В.М., Спиридонов С.Б. Подход к выбору варианта модернизации сервера ЛВС // Наука и образование. 2013. № 2. С. 255-272. https://doi.org/10.7463/0213.0535392
14. Максаков А.А., Сакулин С.А. Модель оценки качества внедрения информационной системы на предприятии // Инженерный журнал: наука и инновации. Электронное научно-техническое издание.
2013. № 11 (23). URL:
http://engjournal.ru/articles/1011/1011.pdf (10.12.2017). https://doi.org/10.18698/2308-6033-2013-11-1011
15. Безрук В.М., Пономаренко Н.Н., Скорик Ю.В.
Анализ эффективности методов многокритериального выбора предпочтительного варианта средств телекоммуникаций // Проблемы телекоммуникаций. 2015. № 1 (16). С. 42-53.
16. Сакулин С.А., Алфимцев А.Н. Выбор операторов агрегирования пользовательских критериев для оценки удобства веб-страниц // Вестник ИрГТУ. 2017. Т. 21. № 1. С. 90-102. https:doi.org/10.21285/1814-3520-2017-1-90-102
17. Подиновский В.В., Подиновская О.В. О некорректности метода анализа иерархий // Проблемы управления. 2011. № 1. С. 8-13.
18. Саати Т. Принятие решений. Метод анализа иерархий / пер. с англ. Р.Г. Вачнадзе. М.: Радио и связь, 1993. 320 с.
19. Подиновский В.В., Потапов М.А. Метод взвешенной суммы критериев в анализе многокритериальных решений: pro et contra // Бизнес-информатика. 2013. № 3 (25). С. 41-48.
20. Спиридонов С.Б., Булатова И.Г., Постников В.М. Анализ подходов к выбору весовых коэффициентов критериев методом парного сравнения критериев // Интернет-журнал «Науковедение». 2017. Т. 9. № 6. URL: https://naukovedenie.ru/PDF/16TVN617.pdf (09.01.2018).
21. Подиновский В.В., Потапов М.А. Важность критериев в многокритериальных задачах принятия решений: теория, методы, софт и приложения // Открытое образование. 2012. № 2. С. 55-61.
22. Салтыков С.А. Экспериментальное сопоставление методов взвешенной суммы, теории полезности и теории важности критериев для решения много-
критериальных задач с балльными критериями // Управление большими системами. 2010. Вып. 29. С. 16-41.
23. Ларичев О.И. Теория и методы принятия решений, а также Хроника событий в волшебных странах. 2-е изд., перераб. и доп. М.: Логос, 2008. 392 с.
24. Тесленко В.И. Методика анализа и оценка результатов тестирования // Вестник КГПУ им. В.П. Астафьева. 2006. Т. 1. С. 78-95.
25. Рожков А.В., Карева А.С. Способы выставления итоговых оценок за тест. [Электронный ресурс]. URL: http://docplayer.ru/36035-1-sposoby-vystavleniya-itogovyh-ocenok-za-test. html (30.01.2018).
26. Болонская система оценивания (баллы ECTS). URL: http://euroeducation.com.ua/article/40-razlichnaya-topics/55-european-higher-education-system.html (10.12.2017).
27. Система оценивания знаний [Электронный ресурс] // Википедия. URL: https://dic.academic.ru/dic.nsf/ruwiki/434831 (18.01.2018).
28. Аршинский Л.В., Попов А.Ю. Применение технологии экспертных систем для задач агрегированного оценивания на основе среднего арифметического // Современные технологии. Системный анализ. Моделирование. 2016. № 3 (51). С. 109-114.
29. Богданов А.А. Очерки организационной науки. Самара: Государственное издательство, 1921 [Электронный ресурс] // Библиотека русской и советской классики. URL:
http://ruslit.traumlibrary.net/book/bogdanov-ocherki-org/bogdanov-ocherki-org.html#work001 (01.12.2017).
References
1. Arshinskii L.V. Logic axiological approach to assessment of systems.Sovremennye tekhnologii. Sis-temnyi anal/z. Modelirovanie [Modern technology. System analysis. Modeling]. 2013, no. 3 (39), pp. 140-146. (In Russian).
2. Arshinskii L.V. Aggregate method of estimating systems with support of key components. Ontologiya proektirovaniya [Ontology of Designing]. 2015, no. 2 (16), pp. 233-245. (In Russian). https://doi.org/10.18287/2223-9537-2015-5-2-223-232
3. Fishbern P. Teoriya poleznosti dlya prinyatiya resh-enii [Theory of utility for decision-making]. Moscow: Nauka Publ., 1978, 352 p. (In Russian).
4. Postnikov V.M., Spiridonov S.B. Selecting methods of the weighting factors of local criteria. Nauka i obra-zovanie. MGTU im. N.E. Baumana [Science and Education of the Bauman MSTU]. 2015, no. 06, pp. 267-287. (In Russian). https://doi.org/10.7463/0615.0780334
5. Baranov Yu.G. Metody prinyatiya upravlencheskikh reshenii [Methods of making managerial decisions]. Pskov: Pskovskii gosudarstvennyi universitet Publ., 2013, 176 p. (In Russian).
6. Potapov D.K., Evstaf'eva V.V. O metodikakh opre-deleniya vesovykh koeffitsientov v zadache otsenki
nadezhnosti kommercheskikh bankov [On the methods of determining weighting factors in the problem of commercial bank reliability evaluation]. Sbornik nauch-nykh statei "Sotsial'no-ekonomicheskoe polozhenie Rossii v novykh geopoliticheskikh i finansovo-ekonomicheskikh usloviyakh: realii i perspektivy razviti-ya" [Collection of scientific articles "Socio-economic status of Russia in new geopolitical and financial-economic conditions: realities and development prospects"]. Saint-Petersburg: Institute of Business and Law Publ., 2008, issue 5, pp. 191-196. (In Russian).
7. Nedosekin A.O. Otsenka riska biznesa na osnove nechetkikh dannykh [Fuzzy data-based assessment of business risk]. Saint-Petersburg: Sezam Publ., 2004, 100 p. (In Russian).
8. Madera A.G. Modelirovanie i prinyatie reshenii v menedzhmente. Rukovodstvo dlya budushchikh top-menedzherov [Modeling and decision-making in management. A guide for future top managers]. Moscow: LKI Publ., 2010, 688 p. (In Russian).
9. Mikhailov Ya.V. Upravlencheskie resheniya: posobie dlya upravlentsev-praktikov [Managerial decisions: a handbook for practical managers]. Moscow: Ekonomika Publ., 2011, 143 p. (In Russian).
10. Nekrest'yanova Yu.N. The theoretical justification of
Pareto's analysis. Predprinimatel'stvo [Entrepreneur-ship]. 2013, no. 3, pp. 56-64. (In Russian).
11. Mityakov E.S., Kornilov D.A. Regarding the issue of proper weighting coefficients in determination of integral indicators of economic dynamics. Trudy Nizhego-rodskogo gosudarstvennogo tekhnicheskogo universi-teta im. R.E. Alekseeva [Transactions of NNSTU n.a. R.E. Alekseev]. 2011, no. 3 (90), pp. 289-299. (In Russian).
12. Shilin A.I. Koptelova I.A. Teoriya prinyatiya reshenii v proektirovanii informatsionno-izmeritel'noi tekhniki [Theory of decision-making in the design of information and measurement equipment]. Volgograd: Volgograd state university Publ., 2012, 128 p. (In Russian).
13. Postnikov V.M., Spiridonov S.B. Approach to the choice of the LAN server upgrade variant. Nauka i obrazovanie [Science and Education]. 2013, no. 2, pp 255-272. (In Russian). https://doi.org/10.7463/0213.0535392
14. Maksakov A.A., Sakulin S.A. Evaluation model for the quality of the enterprise information system's implementation. Inzhenernyi zhurnal: nauka i innovatsii. Elektronnoe nauchno-tekhnicheskoe izdanie [Engineering Journal: Science and Innovation. Electronic science and engineering publication.]. 2013, no. 11 (23). Available at: http://engjournal.ru/articles/1011/1011.pdf (accessed 10 December 2017). https://doi.org/10.18698/2308-6033-2013-11-1011
15. Bezruk V.M., Ponomarenko N.N., Skorik Yu.V. Efficiency analysis of multicriteria methods for the selection of the preferred version of telecommunications facilities. Problemy telekommunikatsii [Telecommunication Problems]. 2015, no. 1 (16), pp. 42-53. (In Russian).
16. Sakulin S.A., Alfimtsev A.N. Selection of user criteria aggregation operators for web page usability evaluation. Vestnik IrGTU [Proceedings of Irkutsk State Technical University]. 2017, vol. 21, no. 1, pp. 90-102. (In Russian). https: //doi.org/10.21285/1814-3520-2017-1-90-102
17. Podinovskii V.V., Podinovskaya O.V. On the theoretical incorrectness of the analytic hierarchy process. Problemy upravleniya [Control Sciences]. 2011, no. 1, pp. 8-13. (In Russian).
18. Saati T. Prinyatie reshenii. Metod analiza ierarkhii [Decision-making. Method of hierarchy analysis]. Moscow: Radio i svyaz' Publ., 1993, 320 p. (In Russian).
19. Podinovskii V.V., Potapov M.A. Weighted sum method in the analysis of multicriterial decisions: pro et contra. Biznes-informatika [Business Informatics]. 2013, no. 3 (25), pp. 41-48. (In Russian).
20. Spiridonov S.B., Bulatova I.G., Postnikov V.M.
Критерии авторства
Авторы заявляют о равном участии в получении и оформлении научных результатов и в равной мере несут ответственность за плагиат.
Конфликт интересов
Авторы заявляют об отсутствии конфликта интересов.
Analysis of approaches to the choice of weighting criteria method of pair comparison of criteria. Internet-zhurnal "Naukovedenie" [Science Studies]. 2017, vol. 9, no. 6. Available at: https://naukovedenie.ru/PDF/ 16TVN617.pdf (accessed 9 January 2018).
21. Podinovskii V.V., Potapov M.A. Criteria importance in multiple criteria decision making problems: Theory, Methods, Soft and Applications. Otkrytoe obrazovanie [Open Education]. 2012, no. 2, pp. 55-61. (In Russian).
22. Saltykov S.A. Experimental comparison of methods of weighted sum, utility theory and criteria importance theory for the solution of multicriterial problems with score criteria . Upravlenie bol'shimi sistemami. [Large-Scale Systems Control]. 2010, issue 29, pp. 16-41. (In Russian).
23. Larichev O.I. Teoriya i metody prinyatiya reshenii, a takzhe khronika sobytii v volshebnykh stranakh [Theory and methods of decision-making and the chronicle of events in magical countries]. Moscow: Logos Publ., 2008, 392 p. (In Russian).
24. Teslenko V.I. Analysis methods and test results evaluation. Vestnik Krasnoyarskogo gosudarstvennogo pedagogicheskogo universiteta im. V.P. Astaf'eva [Bulletin of Krasnoyarsk State Pedagogical University]. 2006, vol. 1, pp. 78-95. (In Russian).
25. Rozhkov A.V., Kareva A.S. Sposoby vystavleniya itogovykh otsenok za test [Methods for final grading the test]. Available at: http://docplayer.ru/36035-1-sposoby-vystavleniya-itogovyh-ocenok-za-test.html (accessed 30 January 2018).
26. Bolonskaya sistema otsenivaniya (bally ECTS) [Bologna evaluation system (ECTS scores)]. Available at: http://euroeducation.com.ua/article/40-razlichnaya-topics/55-european-higher-education-system.html (accessed 10 December 2017).
27. Sistema otsenivaniya znanii [Grading in education]. Available at:
https://dic.academic.ru/dic.nsf/ruwiki/434831 (accessed 18 January 2018).
28. Arshinskii L.V., Popov A.Yu. Application of technology of expert systems for tasks of aggregate estimation by means of arithmetic mean. Sovremennye tekhnologii. Sistemnyi analiz. Modelirovanie [Modern technologies. System analysis. Modeling]. 2016, no. 3 (51), pp. 109-114. (In Russian).
29. Bogdanov A.A. Ocherki organizatsionnoi nauki [Sketches of organizational science]. Samara: State Publishers, 1921. Available at: http://ruslit.traumlibrary.net/book/bogdanov-ocherki-org/bogdanov-ocherki-org.html#work001 (accessed 1 January 2017).
Authorship criteria
The authors declare equal participation in obtaining and formalization of scientific results and bear equal responsibility for plagiarism.
Conflict of interests
The authors declare that there is no conflict of interests regarding the publication of this article.
