Оценка качества функционирования станции Улан-Баторской железной дороги как производственной системы на основе продукционной базы знаний Текст научной статьи по специальности «Компьютерные и информационные науки»

Оценка качества функционирования станции Улан-Баторской железной дороги как производст УДК 004.89+658.5

ОЦЕНКА КАЧЕСТВА ФУНКЦИОНИРОВАНИЯ СТАНЦИИ УЛАН-БАТОРСКОЙ ЖЕЛЕЗНОЙ ДОРОГИ КАК ПРОИЗВОДСТВЕННОЙ СИСТЕМЫ НА ОСНОВЕ

ПРОДУКЦИОННОЙ БАЗЫ ЗНАНИЙ Аршинский Вадим Леонидович

К.т.н., доцент кафедры автоматизированных систем, Иркутский научно-исследовательский технический университет, 664074 г. Иркутск, ул. Лермонтова 83, e-mail: arshinskyv@mail.ru Аршинский Леонид Вадимович Д.т.н., доцент, зав. кафедрой «Информационные системы и защита информации», Иркутский государственный университет путей сообщения, 664074 г. Иркутск, ул. Чернышевского 15, e-mail: larsh@mail.ru Доржсурэн Хишигсурэн Преподаватель, Транспортный институт Монголии, e-mail: khishigsurenkhishgee238@gmail.com 44 Peace Av., 2nd quarter, Bayangol, Ulaanbaatar, Mongolia

Аннотация. Работа посвящена обсуждению особенностей агрегированного оценивания производственно-экономических систем с помощью логико-математического моделирования. Рассматривается методика экспертного оценивания качества функционирования таких систем на основе знаниевых технологий. В основу положено моделирование системы множеством нечетких продукций и вычисление агрегированной оценки в ходе присоединенного логического вывода с помощью соответствующей экспертной системы. Обсуждаются вопросы назначения степеней истинности нечетким продукциям, назначения оценок функциональным элементам, проблемы выбора закона агрегирования, вопросы необходимости дополнительных преобразований (калибровки) результата. Результатом исследования служит уточнение методики логико-аксиологического оценивания для производственно-экономических систем.

Ключевые слова: агрегированное оценивание, продукционная база знаний, нечеткий вывод, производственно-экономическая система, экспертная система.

Цитирование: Аршинский В.Л., Аршинский Л.В., Доржсурэн Хишигсурэн. Оценка качества функционирования станции Улан-Баторской железной дороги как производственной системы на основе продукционной базы знаний // Информационные и математические технологии в науке и управлении. 2018. №2 (10). С. 61-70. DOI:10.25729/2413-0133-2018-2-06

Введение. В работе на примере станции Амгалан Улан-Баторской железной дороги обсуждаются некоторые особенности методики агрегированного оценивания систем, основанной на знаниевых технологиях, применительно к производственно-экономическим системам. В основу положено описание объекта продукционной базой знаний (БЗ), составленной из нечетких продукций. Искомая агрегированная величина вычисляется в ходе нечеткого логического вывода.

Си См Сз i a 2

Рис. 1. Производственная система как иерархия.

Железнодорожная станция, как производственно-экономическая система, является сложной иерархической системой, содержащей разнообразные компоненты: службы, подразделения, подчиненные станции и т.п. [5]. Общая функциональность станции определяется их состоянием и внутрисистемными отношениями.

Рассматриваемая методика опирается на технологию баз знаний. При этом общая задача оценки разбивается на две подзадачи [3, 4]:

- описание структуры системы посредством онтологий (онтологическое моделирование);

- преобразование онтологии в продукционную БЗ с ядрами вида:

—С ^—с', (1)

где о; - высказывание о полноценном функционировании компонента С;, а с' - высказывание

о полноценном функционировании содержащего его компонента С предшествующего уровня (рис. 1). Для краткости всюду далее С; называем «субкомпонентами» компонента С', а С', соответственно, «надкомпонентом» компонентов С;. Надкомпонентом является сама система, а также любая из ее подсистем, содержащая функциональные элементы и подсистемы нижнего уровня иерархии. Субкомпоненты - это функциональные элементы или соответствующие подсистемы. На рис. 1 система £ является надкомпонентом компонентов С1, С2 и С3. Они, в свою очередь, - её субкомпоненты. С1 и С3 - надкомпоненты компонентов С11, С12 и С31, С32. Компоненты С11, С12, С31, С32 являются субкомпонентами для С1 и С3 и при этом функциональными элементами системы. Применительно, например, к станции Амгалан Улан-Баторской железной дороги эта схема будет выглядеть, как показано на рис. 2 [3, 4], причем каждая из подчиненных станций описывается отдельной моделью.

Каждая связь на рис. 1 и 2 преобразуется в продукцию вида (1) продукционной БЗ. При этом каждая такая продукция имеет истинность, выраженную числом из [0,1] (сразу отметим, что с вычислительной точки зрения удобнее пользоваться числом из целочисленного множества {0,...,100}, что далее отражено в работе). Истинность (1) рассматривается как показатель ценности С; для С'. Она показывает количественное влияние С; на убыль функциональности С' в случае полной утраты С; [1, 2]. Агрегат вычисляется в ходе прямого присоединенного вывода на продукционной БЗ. При этом исходим из того, что оценки функциональных элементов задаются аудиторами.

Правдоподобный вывод такого типа обязательно содержит два этапа: расчет истинности заключения на основе истинностей посылок и объединение значений истинности заключения, полученного по разным цепочкам. При этом появляются вопросы:

- каким образом задать ценности компонентов?

- как задать оценки функциональных элементов?

- какую функцию нужно выбрать в качестве закона агрегирования?

Также следует обсудить проблему дополнительных преобразований результата (агрегата), связанную с нелинейностью (в общем случае) законов агрегирования.

Рис. 2. Онтологическое представление станции Амгалан Улан-Баторской

железной дороги.

Определение ценностей компонентов. Задание ценностей компонентов - один из основных вопросов методики. Можно исходить из двух взглядов: «натурального» и «оценочного». Под первым понимаем расчет ценностей, исходя из реальных количественных характеристик системы, выраженных в безразмерных величинах. Для железнодорожной станции это может быть её пропускная и перерабатывающая способности, например, если пропускную и перерабатывающую способности полноценно функционирующей станции принимать за 1, то 0.9 означает снижение показателя на 10%. Ценность компонента задает потенциальное снижение пропускной и перерабатывающей способности в случае прекращения функционирования той или иной службы или подразделения, но такой взгляд затрудняет учет влияния служб, не участвующих в перевозочном процессе непосредственно. Утрата или ухудшение качества функционирования такого звена не сказывается на натуральных показателях явным образом.

При оценочном подходе предполагается, что показатели ценности и степень функциональности задаются экспертами. При этом шкала [0,1], как и 100-балльная шкала, выглядят излишне подробными. Оценки удобнее назначать в лингвистической форме, переводя лингвистическое значение в число из интервала [0,1] или из множества 0^100, например, так как это указано в таблице 1.

Таблица 1. Соответствия числовых и лингвистических значений ценности

№ Лингвистическое значение ценности Содержательный смысл Числовое значение ценности at

1 Ценность «нулевая» Функционирование компонента Сг никак не влияет на функциональность надкомпонента С' 0 (0)

2 Очень малая Утрата компонента Сг практически не влияет на функциональность надкомпонента С' 0.1 (10)

3 Малая Утрата компонента Сг слабо влияет на функциональность надкомпонента С' 0.3 (30)

4 Средняя Утрата компонента Сг заметно влияет на функциональность надкомпонента С' 0.5 (50)

5 Большая Утрата компонента Сг сильно влияет на функциональность надкомпонента С' 0.7 (70)

б Очень большая Наличие компонента Сг принципиально необходимо для функционирование надкомпонента С' 0.9 (90)

7 Ключевая Утрата компонента Сг влечет не функционирование (остановку в работе) надкомпонента С' 1.0 (100)

Наиболее ценным считается компонент, утрата которого (с точки зрения эксперта) влечет наибольший ущерб для соответствующего надкомпонента. Отметим, что, согласно рассматриваемой методике, можно вводить ключевые компоненты. Их утрата ведет к полной утрате (не функционированию) соответствующего надкомпонента.

Интересным приемом экспертного назначения ценностей мог бы явиться метод весовых коэффициентов Фишберна [14], используемый в задачах принятия решений (см., например [6, 9-11]). Согласно ему компоненты сначала ранжируются, после чего каждому рангу назначается число, определяемое как:

2 • (п +1 - г)

a =■

п(п +1)

Можно видеть, что с ростом числа субкомпонентов их влияние падает. Это делает метод не слишком подходящим для систем с большим числом субкомпонентов. В то же время, беря его идею за основу, можно предложить следующую процедуру преобразования рангов в количественные показатели.

1. Разбить множество компонентов [Сг}, /=1,...,и, на систему К подмножеств [Як] так,

К

что Як1^Як2=0, при £1^2, и ^ Як = {Сг}. Причем, если Сц ~ Сг2 (~ — компоненты

к=1

эквивалентны по предпочтению), то компоненты Сц и С2 принадлежат одному множеству Як, иначе разным. Считаем также, что при Сц У Сг2 (У — отношение предпочтения; Сц предпочтительнее С2), если Сг1еЯк1, а С2еЯк2, то Як1 У Як2 и к1<к2. То есть Як — множество

компонентов одного ранга; сами подмножества упорядочены по предпочтению. Подмножества Я] и ЯК связываем с ключевыми и нулевыми компонентами соответственно (они могут быть пустыми).

2. Каждому подмножеству Я^, кроме Я] и ЯК, ставим в соответствие число из интервала [0,1] так, чтобы эти числа делили этот отрезок на К—1 одинаковых подинтервалов.

3. Объявляем полученные числа ценностями компонентов из соответствующих подмножеств. При наличии ключевых и/или нулевых компонентов им присваиваются ценности 1 и 0 (100 и 0) соответственно.

В таблице 2 приведен соответствующий пример (ключевые и нулевые компоненты отсутствуют).

Таблица 2. Пример задания ценностей « по интервальному методу

Предпочтения «1 «2 «3 «4

С1 « С2 1/2 (50) 1/2 (50)

С1 У С2 2/з (67) 1/з (зз)

С1 « С2 ~ Сз 1/2 (50) 1/2 (50) 1/2 (50)

С1 У С2 « Сз 2/з (67) 1/з (зз) 1/з (зз)

С1« С2 У Сз 2/з (67) 2/з (67) 1/з (зз)

С1 У С2 У Сз з/4 (75) 2/4 (50) 1/4 (25)

С1 « С « Сз « С4 1/2 (50) 1/2 (50) 1/2 (50) 1/2 (50)

С1 У С2 ~ Сз « С4 2/з (67) 1/з (зз) 1/з (зз) 1/з (зз)

С1 ~ С2 У Сз « С4 2/з (67) 2/з (67) 1/з (зз) 1/з (зз)

С1 « С2 ~ Сз У С4 2/з (67) 2/з (67) 2/з (67) 1/з (зз)

С1 У С2 У Сз ~ С4 з/4 (75) 2/4 (50) 1/4 (25) 1/4 (25)

С1 У С2 ~ Сз У С4 з/4 (75) 2/4 (50) 2/4 (50) 1/4 (25)

С1 ~ С2 У Сз У С4 з/4 (75) з/4 (75) 2/4 (50) 1/4 (25)

С1 У С2 У Сз У С4 4/5 (80) з/5 (60) 2/5 (40) 1/5 (20)

Подчеркнем, что условие равенства подинтервалов - это эвристика.

Каждый из подходов - прямой и ранговый - обладает своими достоинствами и недостатками. Можно объединить их следующим образом.

1. Разбить множество {С;} на классы эквивалентности. Упорядочить классы по рангам.

2. Каким-то из классов (если это возможно) назначить ценности прямым образом.

3. Классам, которым ценности назначить не удалось, задать их с помощью интервалов так, чтобы интервал между классами с известными ценностями разбивался на равные подинтервалы.

Оценки функциональных элементов. Оценки функциональным элементам тоже можно выставлять на основе «оценочного» подхода. В этом случае каждый элемент (служба, должностное лицо) оценивается аудитором по результатам работы. Это распространенный подход, при котором аудитор может учитывать как количественные, так и качественные результаты работы. Оценка носит безразмерный характер и потому может участвовать в агрегировании наряду с другими. Учитывая, что основная шкала здесь [0,1], хорошим приемом выглядит оценка в 7-балльной шкале с переводом балла в [0,1]. При этом необходимо:

1) сформировать критерии балльности;

2) дать таблицу перевода баллов в значения из [0,1] (или 0^100).

Достаточно практичной выглядит система оценок следующего содержания:

— 1 — «превосходно» (замечаний к функциональному элементу нет);

— (0.9, 1) — «очень хорошо» (замечания имеются, но ими можно пренебречь);

— (0.8, 0,9] — «хорошо» (есть отдельные замечания, слабо влияющие на работоспособность

элемента);

— (0.6, 0,8] — «удовлетворительно» (работоспособность элемента заметно снижена, но

некритическим образом);

— (0.3, 0,6] — «плохо» (качество функционирование элемента снижено критически, его

работоспособность под вопросом);

— (0, 0,3] — «очень плохо» (элемент почти не функционирует);

— 0 — элемент отсутствует (элемент в системе отсутствует либо не функционирует

полностью);

Фактически это 5-балльная шкала, дополненная значениями «превосходно» и «0». Обратный перевод лингвистической оценки в число из интервала [0,1] или множество 0^100 можно выполнить по схеме:

— «превосходно» — 1 (100);

— «очень хорошо» — 0.95 (95);

— «хорошо» — 0.85 (85);

— «удовлетворительно» — 0.7 (70);

— «плохо» — 0.45 (45);

— «очень плохо» — 0.15 (15);

— «0» — 0.

Аналогичные соответствия используются, например, в сфере образовательных технологий [8, 12, 13]. Относительно большие размеры подинтервалов в «неудовлетворительной» части оправданы тем, что с точки зрения управленческих решений неважно насколько «плох» тот или иной компонент, в любом случае необходимо серьезное вмешательство.

Выбор закона агрегирования. В [1] представлены несколько законов агрегирования. Там же замечено, что выбор конкретного закона определяется конкретной задачей. Согласно методике здесь агрегируются ущербы, обусловленные дефицитом функциональности субкомпонентов. В качестве соответствующей функции могут выступать среднее арифметическое, среднее геометрическое, известные в теории нечетких множеств и 5-нормы. При этом исходим из того, что любой компонент рассматриваемых систем является необходимым и ни один в отдельности не является достаточным для ее функционирования.

Агрегирование на основе средних обладает тем недостатком, что итоговая эффективность здесь оценивается «в среднем». Как следствие, упущения в работе наиболее важных (по используемой здесь терминологии «ценных») компонентов могут быть скомпенсированы успехами в других. Введение показателей важности (ценности) затушёвывают эту проблему, но общая парадигма не меняется. В этом случае при развитой иерархии вклад отдельного функционального элемента на итоговый агрегат практически не влияет (арифметическое среднее), или каждый компонент становится ключевым (геометрическое и гармоническое среднее).

Агрегирование при помощи ¿-норм также не годится для объединения ущербов по тем соображениям, что ущерб в функциональности надкомпонента здесь связан с ущербами во всех субкомпонентах. Так как ¿-норма — аналог конъюнкции, это значит, что с точки зрения

принятия управленческих решений успешной является та служба, где хорошо работает хотя бы один сотрудник. В этом случае дефицит равен 0 независимо от состояния других субкомпонентов (они могут отсутствовать вовсе)

В качестве законов агрегирования ущербов предлагается использовать s-нормы. Они обеспечивают дефицит функциональности надкомпонента при ущербе в любом из субкомпонентов. Однако появляется вопрос выбора подходящей нормы. Рассмотрим основные из их.

Конорма вида min°(\,°x+y). Этот закон сродни агрегированию по среднему арифметическому взвешенному. Если сумма ценностей субкомпонентов равна 1, то вычисленный агрегированный ущерб совпадает со средним арифметическим взвешенным при весовых коэффициентах, равных ценностям. Если же их сумма превышает единицу, максимальный ущерб функциональности может возникнуть при дефиците лишь в части субкомпонентов. Это достаточно приемлемая стратегия, хотя дефициты могут накопиться из-за второстепенных компонентов, что не всегда приемлемо.

Конорма вида x+y-xy. В этом случае также накапливаются все выявленные ущербы. При этом, как и в предыдущем случае, общий и формально неприемлемый ущерб могут накопиться благодаря второстепенным составляющим.

Конорма вида max °x,y). Такое агрегирование предполагает, что общий ущерб функциональности надкомпонента определяется наихудшим из субкомпонентов с учетом их ценности. В [7] о таком говорится, как о «законе наименьших». Согласно А.А. Богданову, это один из основных законов существования многих систем, в том числе -производственных. Серьезным дополнительным доводом служит и то, что подобное агрегирование требует от руководителя обеспечивать эффективность всех звеньев производственной системы, хотя и с учетом их ценности. Представляется правильным опираться на него.

Дополнительные преобразования агрегата. В агрегировании могут участвовать нелинейные законы. В результате, к примеру, оценка «хорошо», выставленная всем (!)

функциональным элементам, даст «отлично» для системы в целом. Интуиция подсказывает, что в этом случае «хорошо» должно переводиться в «хорошо». Для этого предлагается преобразовывать агрегат следующим образом:

\) строится калибровочная функция

*

W (0=T(x\=£x2=C,--;Xn=0, где £е[0,\];

2) полученный перед этим агрегат переводится в новое значение с помощью

iH _1

обратной функции: % (S) = W (%(S)).

Это означает преобразование

изначальной равномерной шкалы %(S) в *—1

неравномерную W (%(S)). В результате исходный агрегат %(S) преобразуется в новое значение % (S), равное значению С , при котором W(C,C,...,Q=X(S) (рис. 3).

Заключение. Подводя итог, можно заключить, что при агрегированном оценивании производственных систем методом [1, 2] целесообразно выполнять следующее.

1. Задать истинности нечетких продукций (1) на основе разбиения множества субкомпонентов |Сг} на классы эквивалентности по отношению предпочтения с последующим ранжированием классов, прямым назначением ценности для части классов, вычислением ценности оставшихся на основе разбиения интервала значений оценок [0,1] на соответствующие подинтервалы.

2. Для оценки функциональных элементов (исполнительных звеньев) применить 7-балльную оценку их состояния.

3. Агрегирование ущербов осуществлять с помощью «закона наименьшего»: max(x,y).

4. Преобразовать агрегат с помощью калибровочной функции.

СПИСОК ЛИТЕРАТУРЫ

1. Аршинский Л.В. Логико-аксиологический подход к оценке состояния систем // Современные технологии. Системный анализ. Моделирование. 2013. № 3(39). С.140-146.

2. Аршинский Л.В. Методика агрегированного оценивания систем с поддержкой ключевых компонентов // Онтология проектирования 2015. № 2(16). С. 233-245. DOI:10.18287/2223-9537-2015-5-2-223-232

3. Аршинский Л.В., Доржсурэн Х. Разработка базы знаний для агрегированной оценки качества функционирования станции Улан-Баторской железной дороги на основе технологии экспертных систем // 1нтелектуальш системи прийняття ршень i проблеми обчислювального штелекту: Матерiали мiжнародноï науково'1 конференцп. 1нтелектуальш системи прийняття ршень i проблеми обчислювального штелекту -Херсон: Видавництво 1111 Вишемирський В.С. 2017. С 191-193.

4. Аршинский Л.В., Доржсурэн Х. Разработка системы агрегированной оценки производственной безопасности на предприятии на основе знаниевых технологий // Транспортная инфраструктура Сибирского региона. Иркутск: ИрГУПС. 2017. Т.1. С. 401-405.

5. Балдин К. В., Воробьев С. Н., Уткин В. Б. Управленческие решения: Учебник. 2-е изд. М.: Издательско-торговая корпорация «Дашков и К°». 2006. 496 с.

6. Баранов Ю.Г. Методы принятия управленческих решений. Псков: ПГУ. 2013. 176 с.

7. Богданов А.А. Очерки организационной науки. Самара. Государственное издательство. 1921. Режим доступа: http://ruslit.traumlibrary.net/page/bogdanov-ocherki-org.html (дата обращения: 01.12.2017).

8. Красильникова В.А. Подготовка заданий для компьютерного тестирования: Методические рекомендации. Оренбург. ИПК ГОУ ОГУ. 2004. 31 с.

9. Недосекин А.О. Оценка риска бизнеса на основе нечетких данных. СПБ. 2004. 100 с.

10. Постников В.М., Спиридонов С.Б. Методы выбора весовых коэффициентов локальных критериев // Наука и Образование. МГТУ им. Н.Э. Баумана. Электрон. журн. 2015. № 06. С. 267-287. DOI: 10.7463/0615.0780334

11. Потапов Д.К., Евстафьева В.В. О методиках определения весовых коэффициентов в задаче оценки надежности коммерческих банков. Режим доступа: http://www.ibl.ru/konf/041208/60.pdf (дата обращения: 11.12.2017)

12. Рожков А.В., Карева А.С. Способы выставления итоговых оценок за тест. Режим доступа: http://docplayer.ru/36035-1-sposoby-vystavleniya-itogovyh-ocenok-za-test.html (дата обращения: 30.01.2018).

13. Тесленко В.И. Методика анализа и оценка результатов тестирования // Вестник КГПУ им. В.П. Астафьева. 2006. Т.1. С. 78-95.

14. Фишберн П. Теория полезности для принятия решений. М.: Наука. 1978. 352 с.

UDK 004.89+658.5

QUALITY ASSESSMENT THE OPERATION OF THE STATION OF ULAN-BATOR RAILWAY AS A INDUSTRIAL SYSTEM BASED ON PRODUCTION KNOWLEDGE BASE Vadim L. Arshinskiy

PhD, Associate Prof. Department of Automation Systems Irkutsk National Researching Technical University 83, Lermontova Str., 664074, Irkutsk, Russia, e-mail: arshinskyv@mail.ru

Leonid V. Arshinskiy Dr., Head. Department of Information Systems and Information Security

Irkutsk State Transport University 15, Chernyshevskiy Str., 664074, Irkutsk, Russia, e-mail: arsh@irgups.ru

Khishigsuren Dorjsuren Lecturer, Transport Institute of Mongolia 44 Peace Av., 2nd quarter, Bayangol, Ulaanbaatar, Mongolia, e-mail: khishigsurenkhishgee238@gmail.com

Abstract. The paper is devoted to the discussion of the aggregated estimation features for production and economic systems by means of logical-mathematical modeling. The technique of expert estimation of quality functioning of such systems on the base of knowledge technologies is considered. The basis is the modeling of the system by means of a set of fuzzy products and the calculation of the aggregated estimation during the fuzzy logical inference with the help of the appropriate expert system. Questions of assignment of degrees of truth to fuzzy productions, assignment of estimates to functional elements, problems of choice of the law of aggregation, questions of need of additional transformations (calibration) of result are discussed. The result of the study is to clarify the methods of logical-axiological estimation for production and economic systems.

Keywords: aggregated estimation, production knowledge base, fuzzy inference, production and economic system, expert system.

References

1. Arshinskij L.V. Logiko-aksiologicheskij podhod k ocenke sostojanija system [Logical-axiological approach to estimation the state of systems] // Sovremennye tehnologii. Sistemnyj analiz. Modelirovanie = Modern technologies. System analysis. Modeling. 2013. no 3(39). Pp.140-146. (in Russian)

2. Arshinskij L.V. Metodika agregirovannogo ocenivanija sistem s podderzhkoj kljuchevyh komponentov [Method of aggregated estimation of systems with support of key components] // Ontologija proektirovanija = Ontology of Designing. 2015. no 2(16). Pp. 233-245. D0I:10.18287/2223-9537-2015-5-2-223-232. (in Russian)

3. Arshinskij L.V., Dorzhsurjen H. Razrabotka bazy znanij dlja agregirovannoj ocenki kachestva funkcionirovanija stancii Ulan-Batorskoj zheleznoj dorogi na osnove tehnologii jekspertnyh sistem [Development of a knowledge base for an aggregated assessment of the quality of the Ulaanbaatar railway station based on the technology of expert systems] // Intelektual'ni sistemi prijnjattja rishen' i problemi obchisljuval'nogo intelektu: Materiali mizhnarodnoi naukovoi konferencii. Intelektual'ni sistemi prijnjattja rishen' i problemi obchisljuval'nogo intelektu = Intelligent decision-making and computing intelligence systems: Materials of an international scientific conference. Intelligent decision-making and computing intelligence systems. Kherson. Vidavnictvo PP Vishe-mirs'kij V.S. = Publishing house: PE Vishymyrsky V.C. 2017. Pp. 191-193. (in Russian)

4. Arshinskij L.V., Dorzhsurjen H. Razrabotka sistemy agregirovannoj ocenki proizvodstvennoj bezopasnosti na predprijatii na osnove znanievyh tehnologij [Development of the system of the aggregated assessment of production safety at the enterprise on the basis of knowledge technologies] // Transportnaja infrastruktura Sibirskogo regiona = Transport infrastructure of the Siberian region. Irkutsk. Irkutsk State University of Railway Transport. 2017. V.1. Pp. 401-405. (in Russian)

5. Baldin K.V., Vorob'ev S.N., Utkin V.B. Upravlencheskie reshenija: Uchebnik [Management decisions: Textbook]. 2-e izd. Moscow. Izdatel'sko-torgovaja korporacija «Dashkov i K°» = Publishing and trading corporation "Dashkov and Co.". 2006. 496 p. (in Russian)

6. Baranov Ju.G. Metody prinjatija upravlencheskih reshenij [Methods of management decisionmaking]. Pskov. Pscov State University. 2013. 176 p. (in Russian)

7. Bogdanov A.A. Ocherki organizacionnoj nauki [Essays of organizational science]. Samara, Gosudarstvennoe izdatel'stvo = State publishing house. 1921. Available at: http://ruslit.traumlibrary.net/page/bogdanov-ocherki-org.html (accessed 01.12.2017) (in Russian)

8. Krasil'nikova V.A. Podgotovka zadanij dlja komp'juternogo testirovanija: Metodicheskie rekomendacii [Preparation of tasks for computer-based testing: guidelines]. Orenburg. IPK GOU OGU = Publishing and Printing Complex of Orenburg State University. 2004. 31 p. (in Russian)

9. Nedosekin A.O. Ocenka riska biznesa na osnove nechetkih dannyh [Business risk assessment based on fuzzy data]. SPb = St. Petersburg. 2004. 100 p.

10. Postnikov V.M., Spiridonov S.B. Metody vybora vesovyh kojefficientov lokal'nyh kriteriev [Methods of selecting the weight coefficients of the local criteria] // Nauka i Obrazovanie. MGTU im. N.E. Baumana = Science and Education of the Bauman MSTU. 2015. no 06. Pp. 267-287. DOI: 10.7463/0615.0780334. (in Russian)

11. Potapov D.K., Evstafeva V.V. O metodikah opredelenija vesovyh kojefficientov v zadache ocenki nadezhnosti kommercheskih bankov [About methods of determination of weight coefficients in the problem of reliability assessment of commercial banks]. Available at: http://www.ibl.ru/konf/041208/60.pdf. (accessed 11.12.2017) (in Russian)

12. Rozhkov A.V., Kareva A.S. Sposoby vystavlenija itogovyh ocenok za test [Methods of placing final grades for the test]. Available at: http://docplayer.ru/36035-1-sposoby-vystavleniya-itogovyh-ocenok-za-test.html (accessed 30.01.2018) (in Russian)

13. Teslenko V.I. Metodika analiza i ocenka rezul'tatov testirovanija [Methods of analysis and evaluation of test results] // Vestnik KGPU im. V.P. Astafeva = Bulletin of Krasnoyarsk State Pedagogical University. 2006. V.1. Pp. 78-95. (in Russian)

Fishbern P. Teorija poleznosti dlja prinjatija reshenij [Theory of usefulness for decisionmaking]. Moscow. Nauka = Science. 1978. 352 p. (in Russian)