CC BY
21
DOI: https://doi.org/10.23670/IRJ.2020.97.7.014
ОБ ОДНОМ ПОДХОДЕ К ФОРМИРОВАНИЮ БАЗЫ ЗНАНИЙ ДЛЯ КЛАССИФИКАЦИИ ОБЪЕКТОВ
Научная статья
Сергиенко М. А.1' *, Данилова И.В.2
1 ORCID: 0000-0003-1322-9624;
2 ORCID: 0000-0001-5524-8351;
Воронежский государственный университет, Воронеж, Россия
* Корреспондирующий автор (sergienko-m-a[at]yandex.ru)
Аннотация
Рассматривается проблема классификации объектов, описывающих поведение сложной системы, в предположении, что каждый из них характеризуется с помощью типового набора признаков. На основе этой информации разработан подход, базирующийся на методике нечеткого моделирования, который позволяет сформировать базу знаний в форме продукционных правил для нечеткой системы классификации объектов. Подобные системы обладают повышенными объяснительными способностями. За счет изменения мощности (гранулярности) лингвистических шкал для описательных признаков объектов можно регулировать точность выдаваемого системой ответа.
Ключевые слова: классификация объектов, нечеткая база знаний, экспертная система.
DESCRIPTION OF AN APPROACH TO THE FORMATION OF THE KNOWLEDGE BASE FOR THE CLASSIFICATION OF OBJECTS
Research article
Sergienko M.A.1, *, Danilova I.V.2
1 ORCID: 0000-0003-1322-9624;
2 ORCID: 0000-0001-5524-8351;
Voronezh State University, Voronezh, Russia
* Correspondent author (sergienko-m-a[at]yandex.ru)
Abstract
The article considers the problem of classifying objects that describe the behavior of a complex system under the assumption that each of the objects is characterized with the help of a typical set of features. Following this information, an approach is developed based on the indistinct modeling technique, which allows creating a knowledge base in the form of production rules for an indistinct system for classifying objects. Such systems enhance explanatory abilities. The change of the power (granularity) of linguistic scales for descriptive features of objects allows adjusting the accuracy of the response generated by the system.
Keywords: classification of objects, indistinct knowledge base, expert system.
Введение
Постоянно растущие объемы накапливаемой и обрабатываемой информации, оцениваемые в петабайтах (Big Data), не позволяют человеку самостоятельно их проанализировать. Автоматизация этого процесса реализуется, в частности, с помощью Data Mining [1], одной из функциональных особенностей которого является задача классификации -отнесение объектов к одному из заранее известных классов.
Динамика роста объема данных настолько велика, что существующие классификаторы и алгоритмы их реализации не успевают так быстро изменяться, что приводит к нежелательным ошибкам. Создание классификаторов, способных предоставлять объяснения по результатам своей работы, способствовало бы выявлению подобных проблем на ранних стадиях. Архитектура таких структур данных базируется на базах знаний, представимых с помощью продукционных правил, которые формируются при непосредственном участии эксперта предметной области.
Данная работа посвящена описанию подхода к созданию классификатора в виде базы нечетких продукционных правил. Подобная база знаний (Knowledge Base, KB) повышает объяснительные способности механизма нечеткого логического вывода, что делает функционирование классификатора более прозрачным.
Формализация постановки задачи
Задача классификации объектов может быть сформулирована как задача аппроксимации неизвестной функции CLR : O х C ^ {0,1} с помощью функции
CLRa :O x C ^ {0,1} (1)
, 10, если о Си „ , ,
где сья - классификатор вида СЬЯ (ос) = < ' к ; О = {о ...о , } - множество классифицируемых
А А' '' к / | 1 ' 1' О
[1, если О' е ск 11
объектов; с = - множество классов.
Каждый объект о 1 характеризуется значениями типового набора признаков р = {р}р } :
О = (Ри,...,Р1\р\/ '
где р.. - значение ] -го признака для ' -го объекта.
О. к классу ск известна и задается в виде кортежа < > , а их размерность определяется количеством
Зачастую объем априорной информации, характеризующий работу сложной системы, недостаточен для классификации объектов. Для построения эффективного классификатора необходимо иметь обучающую выборку оL, а
для его проверки на качество - тестовую выборку OT. В подобных выборках информация о принадлежности объекта
О. к классу ек известна и заде
содержащихся в них объектов o{ :
ol = {< ot,c* >}=ш oio, ï = {< pu,...,pwcï >,
, k (2) ot = {< oi, c i > }г=юй. o.o,ï = {< pw...'p,\f\' c > }г=юй. ï '
где p.. - значение j -го признака для i -го объекта, а cï - ï -ый класс для i -го объекта.
Таким образом, задача классификации сводится к тому, чтобы на основе обучающей выборки о построить аппроксимацию функции CLR в виде классификатора clra, который будет корректно идентифицировать объекты, не участвующих в процессе его создания, а с помощью тестовой выборки о проверить его на качество. Обзор подходов к решению задачи классификации
Для решения задачи автоматической классификации объектов в настоящее время широко используются:
• статистические методы;
• методы машинного обучения (Machine Learning, ML) «с учителем»;
• методы нечеткого моделирования.
Статистические методы заключаются в восстановлении зависимости между системной и случайной составляющих на основе методов теории вероятностей [2], [3].
Методы машинного обучения «с учителем» предполагают наличие обучающей и тестовых выборок (для каждого объекта уже определен класс) для восстановления зависимости между входными и выходными переменными. Среди них можно выделить [4], [5]:
• метод Байеса (Naive Bayes, NB), относящийся к классу вероятностных методов;
• метод k ближайших соседей (k Nearest Neighbors, KNN), относящийся к классу метрических методов;
• метод опорных векторов (Support Vector Machine, SVM), относящийся к классу линейных методов;
• метод деревьев решений (Decision Trees, DT), относящийся к классу логических методов;
• регрессионные методы;
• методы на основе искусственных нейронных сетей (сети прямого распространения, рекуррентные сети и др.). Методы на основе искусственных нейронных сетей и SVM-метод считаются одними из лучших для решения
подобных задач.
Методы нечеткого моделирования [6], [7], [9] базируются на теории нечетких множеств и нечеткой логики, что соответствует логике человеческого мышления, оперирующего нечеткими значениями истинности и нечеткими правилами логического вывода. В основе этих методов лежит Fuzzy Approximation Theorem, согласно которой с помощью условных высказываний если-то с последующей их формализацией на основе лингвистических переменных, можно сколь угодно точно описать произвольную взаимосвязь между входными и выходными переменными.
Отличительной особенностью последнего класса методов по сравнению с другими является то, что в качестве решения задачи классификации предоставляется классификатор, который способен пояснить свой ответ. Это достигается за счет высоких объяснительных способностей механизма нечеткого логического вывода. Данное преимущество и обусловило выбор подхода к решению поставленной задачи. Основные результаты
Для создания классификатора объектов clra предлагается использовать следующий алгоритм:
Шаг 1. Подготовить обучающую о и тестовую о выборки в виде (2).
Шаг 2. На основе обучающей выборки о построить лингвистические шкалы:
• для каждого признака p. е P - шкалу SPj (j = 1, |p|) ;
• для каждого класса Ск е C - шкалу SCï (k = 1, \C\).
Шаг 3. На основе обучающей выборки о и лингвистических шкал {SPj, SCï} сформировать базу нечетких
оь
продукционных правил /R А, где R - i -правило, соответствующее i -ой кортеже < o,ck > из о , а Г -
^\ i ' if . I I L I
i=i
рейтинг i -го правила Ri .
Шаг 4. Проверить на качество созданную базу правил Ш и ее функционирование на основе тестовой выборки от Данные шаги детально рассматриваются в следующих четырех разделах.
Подготовка обучающей и тестовой выборкиС привлечением эксперта определяется принадлежность каждого объекта oi (I = 1, |О|) к классу ск е С. Данное соответствие представляется в виде набора кортежей:
О
о=и
<oI,ck >.
Множество о разбивается на два подмножества O = OL u OT :
• о - обучающая выборка, которая используется для формирования базы знаний в форме продукционных правил;
• OT - тестовая выборка, которая используется для оценки прогнозных свойств полученной базы знаний на новых данных, т.е. данных, не участвующих в ее формировании.
Полагаясь на основные принципы методологии по исследованию данных CRISP-DM [10], в рамках данного шага
при необходимости можно провести нормализацию значений (pj,...,p|oj) для каждого j-го признака (j = 1, |р|) .
Методы нормализации [4] используются для изменения признака, который попадает в указанный диапазон, сохраняя при этом относительные различия между его значениями.
Нормализация значений признаков является необязательной, т.к. в рамках шага 4.2 осуществляется фазификация [7], [8], предполагающая использование функций принадлежности, которые могут принимать свои значения только в рамках промежутка [0;1] . С другой стороны, ее выполнение позволит использовать единую лингвистическую шкалу для признаков (шаг 4.2).
Таким образом, результатами данного шага являются обучающая о и тестовая OT выборки, представленные в виде
(2). L
Построение лингвистических шкал для признаков и классов
В общем случае основой использования лингвистического подхода для формализации неточной и нечеткой информации является значительная степень неопределенности. Базовым понятием данного подхода является лингвистическая переменная, позволяющая приближенно описывать сложные понятия процесса функционирования систем, которые не поддаются представлению на общепринятых количественных шкалах.
Лингвистическая переменная задается кортежем следующего вида [8]:
{p,Term,U,G,M),
где в - название переменной; Term = {t t } - терм-множество или множество значений переменной в,
г I 1 '' Term\ j !
причем каждое из них является нечеткой переменной tk , заданной на универсальном множестве U ; G -синтаксическое правило, порождающее новые названия значений переменной fj для формирования расширенного множества термов Term* = Term u G(Term) ; M- семантическое правило, которое ставит в соответствие каждой новой нечеткой переменной ее смысл (нечеткое подмножество универсального множества U ).
Нечеткая переменная задается тройкой {a,U,Aj, где а - название переменной; U - универсальное множество
(область определения а); A - нечеткое множество на U с функцией принадлежности ^ :и ^ [0;1], описывающее ограничения на значение нечеткой переменной а .
Преобразование информации при решении задач осуществляется на основе нечетких переменных с соответствующими функциями принадлежности. Поэтому для каждого терма строится функция принадлежности одним из подходящих методов (возможно, с участием эксперта). Для задания функций принадлежности существуют различные типы форм кривых [6], [7].
Терм-множество лингвистической переменной образует лингвистическую шкалу - инструмент эксперта для формирования качественных оценок. Мощность лингвистической шкалы определяет степень градации неопределенности: она должна быть достаточно малой для избегания ненужной точности, но и достаточно большой, чтобы обеспечить необходимый уровень различения градаций шкалы экспертом.
Для построения лингвистических шкал для признака p. е P (i = 1, рр необходимо располагать информацией о
диапазоне изменения их значений. Верхняя и нижняя границы диапазона могут быть найдены методом экспертного опроса либо путем изучения наборов обучающей выборки с целью определения минимального и максимального значений признака. После чего найденный диапазон надлежит разделить на отрезки по количеству ранее установленных термов.
Для решения задачи классификации предлагается использовать лингвистические шкалы с нечетным числом термов, симметричные относительно среднего терма. Размерность шкалы согласовывается с экспертом. Для задания функций принадлежности для термов предлагается использовать следующие типы кривых: треугольная, трапециевидная, гауссова.
На основе обучающей выборки oL строятся лингвистические шкалы для каждого признака p е р (j = 1, |р|) и классов ck е C (k = 1, \C\).
Для каждого признака p е р (j = 1, |р|) строится симметрическая лингвистическая шкала
S p = {sp,.,Sp j }j=Щ).
Для каждого класса ck е C (к = 1, строится лингвистическая шкала SC} = {S^ }, состоящая из одного терма (синглтон, singleton):
\0, если x Ф к, S1 у1, если x = к,
где k - номер } -го класса ck е C (к = 1,\C\).
Таким образом, результатами данного шага являются следующие лингвистические шкалы: SР] (j = 1, |P|) и
SC} (к = T\C\).
Обобщая представленные результаты, получим:
И
sp = и Spj
SC = и SCk .
к=1
Формирование базы нечетких продукционных правил
На основе обучающей выборки о и лингвистических шкал (3) формируется база нечетких продукционных правил
с MISO-структурой (multi input - single output, много входов - один выход). Каждому кортежу < oi,ci > из q ставится в соответствие правило:
R : ЕСЛИ pn есть Stl И... И pp есть S^ ТО с} есть S^ (i = 1, \OL\).
Ассоциация с термами S. лингвистических шкал Sp для признаков p. е Р осуществляется на основе их значений p по следующему правилу: выбирается терм, которому соответствует функция принадлежности, принимающая максимальное значение в точке pi. :
max
MSpJ(Py-,Mspj (Ру) 1 \spj\
MSpj(Pj ) ^ SJ (i = 1,\OL\).
(4)
Для каждого правила R рассчитывается его рейтинг ri:
И
= Agg(Msu(Ри).-Msip (Р,\р\)) = n^sj(P9) (i = 1 \0l\),
j=1
где ц (р ) - значение функции принадлежности, соответствующей терму 5 е 8Р', полученному на основе (4). Таким образом, результатом данного шага является база нечетких продукционных правил:
Обобщая полученные результаты текущего и предыдущего шагов, получим представление базы знаний с помощью нечетких продукционных правил и лингвистических шкал для входных/выходных переменных в виде следующего кортежа , 5е, ^ .
Полученная база знаний и является реализацией классификатора еьк :
CLRa =(Sp, SC, эт)
q
L
Проверка на качество полученного классификатора
Данный шаг подразумевает:
• проверку на качество полученной базы нечетких продукционных правил Ш ;
• проверку точности функционирования классификатора clra на основе тестовой выборки OT.
Проверка на качество Ш заключается в выполнении следующих свойств [12]:
• непротиворечивость;
• полнота:
■ в узком смысле;
■ в широком смысле (численная и лингвистическая);
• избыточность;
• разделимость.
и опирается на репрезентативность выборки и использование рейтингов правил.
Проверка точности функционирования классификатора на основе тестовой выборки От заключается в том, что для
каждого объекта о. из кортежа < oi,cki > определяется его принадлежность к классу Ci с помощью clra и сравнивается с ожидаемым классом C . Основываясь на этом сравнении, можно измерить показатели эффективности (ПЭ) [4], чтобы количественно оценить, насколько прогнозы классификатора clra, соответствуют ожидаемым.
Простейшим ПЭ является доля ошибок классификации (ДОК), выражаемая в процентах:
НКК
ДОК =--100%,
ОКК
где ННК - неверное количество классификаций; ОКК - общее количество классификаций.
Расчет ПЭ опирается в основном на матрицу ошибок (confusion matrix), которая содержит частоты каждого возможного результата прогноза, сделанных моделью (классификатором) для множества тестовых данных. Разнообразие показателей с их алгоритмами вычисления велико и использование интересующих определяется контекстом решаемой задачи.
Вычислительный эксперимент
Рассмотренный метод был использован для реализации экспертной системы (ЭС) [13] по оценке квалификации сотрудников Компании. Задача данной ЭС заключается в том, чтобы на основе числовой (бальной) оценки квалификации сотрудника определить для него соответствующее положение в проекте (роль/должность).
Эксперимент проводился на ПЭВМ со следующими основными параметрами: 2-х ядерный 64-разрядный процессор Intel(R) Pentium(R) 3556U 1.70GHz, 4ГБ ОЗУ. В качестве технологии для реализации ЭС использовался язык программирования Python и библиотека skfuzzy [14], содержащая API для работы с основными элементами нечеткой логикой.
Множество классов C в данном случае формируется из набора ролей и должностей (табл. 1). Их перечень был составлен согласно руководству PMBOK [15], представляющему собой свод знаний по управлению проектами и включающему описание подходов к организации и концепции управления проектами, формализацию, стандартизацию и структурирование форматов проектной деятельности.
Таблица 1 - Перечень ролей и должностей
Роли
Java Developer
Python Developer
System Administrator
Web Developer
Project Manager
QA
DB Engineer
Должности
Junior
Middle
Senior
Team Lead
Менеджером по персоналу (ИЯ-менеджером) был сформулирован перечень квалификационных требований, подготовлены тесты и проведена аттестация персонала Компании. Оценка квалификационных требований персонала осуществлялась по 100-бальной шкале. Результаты были аккумулированы в виде Ехсе1-файла, фрагмент которого представлен на рис. 1.
На основе представленных данных были сформированы обучающая о и тестовая От выборки в виде (2).
Для всех квалификационных требований использовалась единая лингвистическая шкала, построенная на основе лингвистической переменной «Оценка квалификационного требования» с универсальным множеством u = [0,100] и
множеством термов {bad, fair, good, great, excellent}. Каждый терм - нечеткое треугольное число (рис. 2).
Согласно шагу 4.3 была сформирована нечеткая продукционная база правил ЭД вида (на примере правила для Java Developer junior)'.
IF Java[good] AND SQL[great] AND C#[fair] AND Python[fair] AND Linux[fair] AND MSOffice[good] AND PHP[fair] AND Zabbix[fair]
THEN response[Java Developer junior]
Данная база правил ЭД и является реализацией классификатора clr .
А В С D Е F G H 1
1 Java sea С# Python Linux M SOff ice PHP Zabbix
2 АфанасьевЛ.Н. 39 99 39 39 59 59 59 70
3 Афанасьева Г.Н. 53 73 45 37 22 60 42 33
4 Васильев Н.Г. 42 63 49 43 45 67 41 22
5 Волкова E.H. 95 76 32 80 72 70 54 30
б Горбунова A.M. 86 80 87 86 59 83 26 31
7 Гриневска Я.В. S4 25 29 47 34 49 32 40
S Иванов И.И. 93 34 54 64 17 55 37 94
9 Исаева А.Л. 20 56 27 85 67 72 10 94
10 Ковалёв Н.Г. 47 S9 26 35 63 61 37 54
11 Коновалова П.Ю. 31 86 44 62 71 62 43 64
12 Кравченко O.K. 93 67 91 5S 36 41 93 33
13 Кулагин В.Я. 49 65 37 76 55 SI 22 54
14 Мамонтов Л.Д. 95 52 92 24 3S 27 44 67
15 Мясникова Л.М. 99 31 63 34 81 49 66 20
16 Никонов Л.Д. 85 65 61 94 54 39 94 90
17 Ольхова В.Я. 12 39 40 79 62 73 11 69
IS Петров Д.В. 99 12 67 60 60 57 94 32
19 Полякова К.А. 93 22 18 22 44 35 63 52
20 Самойлов В.У. 63 36 53 90 92 79 23 90
21 Сафонов Г.Х. 82 55 75 94 10 12 45 26
22 Селезнев П.И. 13 16 24 35 93 69 22 17
23 Селиверстов Е.К. 90 26 31 9В 32 35 92 36
24 Сидоров В.Д. 64 99 76 69 40 42 89 14
25 Устинов К.И. 10 S3 41 27 33 70 16 36
26 Чернова В.А. 69 92 96 78 21 65 82 32
-
Рис. 1 - Фактическая оценка квалификационных требований персонала Компании
)ava
Рис. 2 - Лингвистическая шкала лингвистической переменной «Оценка квалификационного требования»
(на примере квалификационного требования Java)
Проверка на качество полученного классификатора ськл осуществлялась на основе тестовой выборки 0Т и с привлечением эксперта.
Результаты повторной аттестации в виде Ехсе1-файла были переданы на вход ЭС, она осуществила безошибочно определение «проектной локализации» для каждого сотрудника Компании (рис. 3). Время ответа на запрос - 08.306 сек.
Ruins
ОИО сотрудника: Афанасьев Л.Н.
Кланинфицированные должность и роль: DB Engineer
mm г? ■fJl ■г и о сотрудника: Афанасьева г.н.
Классифицированные должность и роль: Developer junior
f ОНО сотрудника: Васильев Н.Г.
Классифицированные должность и роль: Java Developer junior
ФИО сотрудника: Волчок Е,Н,
Классифицированный дОлжнО-СТь и роль г lava DevelоркеГ lead
сио сотрудника: Горбунова А.н.
КЛдССЯфнцИрОВдННЫе ДОЛИН«ТЬ И роль; Project Nanjgff
ОНО сотрудника: Гриневека Я,В.
Рис. 3 - Результат работы ЭС
ЭС можно задействовать при принятии решения о приеме новых сотрудников в Компанию, либо о повышении в должности существующего персонала.
Заключение
Предложенный подход в ходе эксперимента продемонстрировал свою работоспособность. Он позволяет создать классификатор, который можно использовать в качестве ядра нечеткой экспертной системы классификации объектов [11], [13]. Подобные системы обладают повышенными объяснительными способностями. За счет изменения мощности (гранулярности) лингвистических шкал для описательных признаков объектов можно регулировать точность выдаваемого системой ответа. Указанные преимущества позволяют таким нечетким экспертным системам находить все более широкое приложение в практических задачах.
Конфликт интересов Conflict of Interest
Не указан. None declared.
Список литературы / References
1. Linoff Gordon S. Data Mining Techniques: For Marketing, Sales, and Customer Relationship Management / Gordon S. Linoff, Michael J.A. Berry. - Wiley Publishing, Inc, 2011. - 821 p.
2. Draper N.R. Applied Regression Analysis / N.R. Draper, H. Smith. - John Wiley & Sons, 1998. - 736 p.
3. Айвазян С.А. Методы эконометрики / С.А. Айвазян. - М. : Инфра-М, 2010. - 508 с.
4. Келлехер Джон Д. Основы машинного обучения для аналитического прогнозирования. Алгоритмы, рабочие примеры и тематические исследования / Джон Д. Келлехер, Брайан Мак-Нейми, Аоифе д'Арси. - М.: Издательский дом «Диалектика-Вильямс», 2019. - 656 с.
5. Хайкин С. Нейронные сети. Полный курс / С. Хайкин. - М. : Издательский дом «Вильямс», 2006. - 1104 с.
6. Кофман А. Введение в теорию нечетких множеств / А.Кофман. - М.: Радио и связь, 1982. - 432 с.
7. Пегат А. Нечеткое моделирование и управление / А. Пегат. - М.: БИНОМ, 2009. - 798 с.
8. Леденева Т.М. Обработка нечеткой информации: учебное пособие / Т.М. Леденева. - Воронеж: Воронежский государственный технический университет, 2006. - 233 с.
9. Борисов В.В. Нечеткие модели и сети / В.В. Борисов, В.В. Круглов, А.С. Федулов. М.: Горячая линия - Телеком, 2007. - 284 с.
10. Shearer, C. The CRISP-DM Model: The New Blueprint for Data Mining / C. Shearer // Journal of Data Warehousing. -2000. - Vol. 5. - pp. 13-22.
11. Леденева Т.М. Об одном подходе к формированию базы знаний для сегментации временных рядов / Т.М. Леденева, М.А. Сергиенко // Вестник ВГУ. Серия Системный анализ и информационные технологии, 2017. - № 3. - С. 156-164.
12. Сергиенко М.А. О некоторых свойствах базы нечетких продукционных правил / М.А. Сергиенко // Международный научно-исследовательский журнал. - 2015. - Ч.3. - №1(32) - С. 27-28.
13. Джарратано Д. Экспертные системы: принципы разработки и программирование / Д. Джарратано, Г.Райли. - 4-е изд. - М.: Издательский дом «Вильямс», 2007. - 1152 с.
14. SciKit-Fuzzy - skfuzzy v0.2 docs [Электронный ресурс] // URL: https://pythonhosted.org/scikit-fuzzy/overview.html (дата обращения 27.02.2020).
15. Guide to the Project Management Body of Knowledge PMBOK Guide 6th Edition. - Newtown Square, Pa: Project Management Institute, 2018 - 41 p.
Список литературы на английском языке / References in English
1. Linoff Gordon S. Data Mining Techniques: For Marketing, Sales, and Customer Relationship Management / Gordon S. Linoff, Michael J.A. Berry. - Wiley Publishing, Inc. 2011. - 821 p.
2. Draper N.R. Applied Regression Analysis / N.R. Draper, H. Smith. - John Wiley □ Sons, 1998.- 736 p.
3. Ajvazjan S.A. Metody jekonometriki [Methods of econometrics]/ S.A. Ajvazjan. - M.: Infra-M, 2010. - 508 p. [in Russian]
4. Kelleher Dzhon D. Osnovy mashinnogo obuchenija dlja analiticheskogo prognozirovanija. Algorit-my, rabochie primery i tematicheskie issledovanija [The Basics of Machine Learning for Analytical Predic-tion. Algorithms, working examples and case studies] / Dzhon D. Kelleher, Brajan Mak-Nejmi, Aoife d'Arsi. - M.: Izdatel'skij dom «Dialektika-Vil'jams», 2019. - 656 p. [in Russian]
5. Hajkin S. Nejronnye seti. Polnyj kurs [Neural Networks. Full course] / S. Hajkin. - M. : Izdatel'skij dom «Vil'jams», 2006. - 1104 p. [in Russian]
6. Kofman A. Vvedenie v teoriju nechetkih mnozhestv [Introduction to the theory of indistinct sets] / A.Kofman. - M.: Radio i svjaz', 1982. 432 p. [in Russian]
7. Pegat A. Nechetkoe modelirovanie i upravlenie [Fuzzy modeling and management] / A. Pegat. - M.: BINOM, 2009. - 798 p. [in Russian]
8. Ledeneva T.M. Obrabotka nechetkoj informacii: uchebnoe posobie [Processing of indistinct infor-mation: manual] / T.M. Ledeneva. -Voronezh: Voronezhskij gosudarstvennyj tehnicheskij universitet, 2006. - 233 p. [in Russian]
9. Borisov V.V. Nechetkie modeli i seti [Fuzzy models and networks] / V.V. Borisov, V.V. Kruglov, A.S. Fedulov. M.: Gorjachaja linija - Telekom, 2007. - 284 p. [in Russian]
10. Shearer, C. The CRISP-DM Model: The New Blueprint for Data Mining / C. Shearer // Journal of Data Warehousing. - 2000. - Vol. 5. - pp. 13-22.
11. Ledeneva T.M. Ob odnom podhode k formirovaniju bazy znanij dlja segmentacii vremennyh rjadov [On One Approach to the Formation of a Knowledge Base for Time Series Segmentation] / T.M. Ledeneva, M.A. Sergienko // Vestnik VGU. Serija Sistemnyj analiz i informacionnye tehnologii [VSU Gazette. Series System Analysis and Information Technologies]. 2017. - № 3. - pp. 156-164. [in Russian]
12. Sergienko M.A. O nekotoryh svojstvah bazy nechetkih produkcionnyh pravil [On Certain Properties of the Base of Fuzzy Production Rules] / M.A. Sergienko // Mezhdunarodnyj nauchno-issledovatel'skij zhur-nal [International Research Journal]. - 2015. - Ch.3. - № 1 (32) -pp. 27-28. [in Russian]
13. Dzharratano D. Jekspertnye sistemy: principy razrabotki i programmirovanie [Expert Systems: Principles of Development and Programming] / D. Dzharratano, G.Rajli. - 4-e izd. - M.: Izdatel'skij dom «Vil'jams», 2007. - 1152 p. [in Russian]
14. SciKit-Fuzzy - skfuzzy v0.2 docs [Electronic resource] // URL: https://pythonhosted.org/scikit-fuzzy/overview.html (accessed: 23.02.2020). [in Russian]
15. Guide to the Project Management Body of Knowledge PMBOK Guide 6th Edition. - Newtown Square, Pa: Project Management Institute, 2018 - 41 p.
