CC BY
61
УДК 004.8
01.00.00 Физико-математические науки
ИНВАРИАНТНОЕ ОТНОСИТЕЛЬНО ОБЪЕМОВ ДАННЫХ НЕЧЕТКОЕ МУЛЬТИКЛАССОВОЕ ОБОБЩЕНИЕ F-МЕРЫ ДОСТОВЕРНОСТИ МОДЕЛЕЙ ВАН РИЗБЕРГЕНА В АСК-АНАЛИЗЕ И СИСТЕМЕ «ЭЙДОС»
Луценко Евгений Вениаминович д.э.н., к.т.н., профессор Scopus Author ID: 57191193316 РИНЦ SPIN-код: 9523-7101 prof. lutsenko @gmail. com
Кубанский государственный аграрный университет имени И.Т.Трубилина, Краснодар, Россия
Классическая количественная мера достоверности моделей: F-мера Ван Ризбергена основана на подсчете суммарного количества верно и ошибочно классифицированных и не классифицированных объектов обучающей выборки. В мультиклассовых системах классификации объект может одновременно относится ко многим классам. Соответственно, при синтезе модели его описание используется для формирования обобщенных образов многих классов, к которым он относится. При использовании модели для классификации определяется степень сходства-различия объекта со всеми классами, причем истинно-положительным решением может являться принадлежность объекта сразу к нескольким классам. В результате такой классификации получается, что объект не просто правильно или ошибочно относится или не относится к различным классам, как в классической F-мере, но правильно или ошибочно относится или не относится к ним в различной степени. Однако классическая F-мера не учитывает того, что объект может, фактически, одновременно относится ко многим классам (мультиклассовость) и того, что в результате классификации может быть получена различная степень сходства-различия объекта с классами (нечеткость). На численных примерах автором установлено, что при истинно-положительных и истинно-отрицательных решениях модуль сходства-различия объекта с классами значительно выше, чем при ложно-положительных и ложно-отрицательных решениях. Поэтому была предложена L1-мера достоверности моделей, учитывающая не просто сам факт истинно или ложно положительного или отрицательного решения, но и степень уверенности классификатора в этих решениях. При классификации больших данных было обнаружено большое количество ложно-положительных решений с низким уровнем сходства, которые, однако, суммарно вносят большой вклад в снижение достоверности модели. Чтобы преодолеть эту проблему предлагается L2-мера, в
UDC 004.8
Physics and mathematical sciences
INVARIANT TO VOLUMES OF DATA, A FUZZY MULTICLASS GENERALIZATION OF F-MEASURE OF PLAUSIBILITY IN VAN RIJSBERGEN MODELS IN ASC-ANALYSIS AND IN THE "EIDOS" SYSTEM
Lutsenko Eugeny Veniaminovich Dr.Sci.Econ., Cand.Tech.Sci., professor Scopus Author ID: 57191193316 RSCI SPIN-code: 9523-7101 prof. [email protected]
Kuban State Agrarian University, Krasnodar, Russia
Classic quantitative measure of the reliability of the models: F-measure by van Rijsbergen is based on counting the total number of correctly and incorrectly classified and not classified objects in the training sample. In multiclass classification systems, the facility can simultaneously apply to multiple classes. Accordingly, when the synthesis of the model description is used for formation of generalized images of many of the classes it belongs to. When using the model for classification, it is determined by the degree of similarity or divergence of the object with all classes, and a true-positive decision may be the membership of the object to several classes. The result of this classification may be that the object is not just rightly or wrongly relates or does not relate to different classes, both in the classical F-measure, but rightly or wrongly relates or does not relate to them in varying degrees. However, the classic F-measure does not count the fact that the object may in fact simultaneously belongs to multiple classes (multicrossover) and the fact that the classification result can be obtained with a different degree of similarity-differences of object classes (blurring). In the numerical example, the author states that with true-positive and true-negative decisions, the module similarities-differences of the object classes are much higher than for false-positive and false-negative decisions. It would therefore be rational to the extent that the reliability of the model to take into account not just the fact of true or false positive or negative decisions, but also to take into account the degree of confidence of the classifier in these decisions. In classifying big data we have revealed a large number of false-positive decisions with a low level of similarity, which, however, in total, contribute to reducing the reliability of the model. To overcome this problem, we propose a L2-measure, in which instead of the sum of levels of similarity we use the average similarity by different classifications. Thus, this work offers measures of the reliability of the models, called L1 -measure and the L2
которой вместо сумм уровней сходства используется средние уровни сходства по различным вариантам классификации. Таким образом, в данной работе предлагаются меры достоверности моделей, названые L1-мера и L2-мера, смягчающие и преодолевающие недостатки F-меры, эти меры описаны математически и их применение продемонстрировано на простом численном примере. В интеллектуальной системе «Эйдос», которая является программным инструментарием автоматизированного системно-когнитивного анализа (АСК-анализ), реализованы все эти меры достоверности моделей: F, L1 и L2
Ключевые слова: НЕЧЕТКОЕ МУЛЬТИКЛАССОВОЕ ОБОБЩЕНИЕ, КЛАССИЧЕСКАЯ F-МЕРА ДОСТОВЕРНОСТИ МОДЕЛЕЙ ВАН РИЗБЕРГЕНА, АСК-АНАЛИЗ, ИНТЕЛЛЕКТУАЛЬНАЯ СИСТЕМА «ЭЙДОС»
Рок 10.21515/1990-4665-126-001
СОДЕРЖАНИЕ
ВВЕДЕНИЕ..........................................................................................................................................................3
1. ОПИСАНИЕ КЛАССИЧЕСКОЙ F-МЕРЫ ВАН РИЗБЕРГЕНА..........................................................4
1.1. Краткое традиционное описание F-меры Ван Ризбергена.............................................................4
1.2. F-мера Ван Ризбергена в обычных математических обозначениях.............................................6
1.3. Проблемы F-меры Ван Ризбергена........................................................................................................9
1.3.1. Проблема мультиклассовости.........................................................................................................9
1.3.2. Проблема нечеткости......................................................................................................................9
1.3.3. Проблема зависимости Е-меры от объема данных..................................................................... 10
2. НЕЧЕТКОЕ МАЛЬТИКЛАССОВОЕ ОБОБЩЕНИЕ КЛАССИЧЕСКОЙ F-МЕРЫ ВАН РИЗБЕРГЕНА (Ы-МЕРА)...............................................................................................................................10
2.1. Решение проблемы мультиклассовости.......................................................................................... 10
2.2. Решение проблемы учета нечеткости............................................................................................... 11
2.3. Асимптотическое выполнение для L1-меры принципа соответствия с F-мерой Ван Ризбергена...................................................................................................................................................... 13
3. ИНВАРИАНТНОЕ ОТНОСИТЕЛЬНО ОБЪЕМОВ ДАННЫХ ОБОБЩЕНИЕ НЕЧЕТКОЙ МУЛЬТИКЛАССОВОЙ Ы-МЕРЫ ДОСТОВЕРНОСТИ МОДЕЛЕЙ (Ь2-МЕРА).............................14
3.1. Проблема зависимости L1 -меры от объема данных......................................................................14
3.2. Решение проблемы зависимости L1 -меры от объема данных ^2-мера)................................... 14
4. ЧИСЛЕННЫЙ ПРИМЕР: ИССЛЕДОВАНИЕ ЗАВИСИМОСТИ F-МЕРЫ, Ь1- И Ь2-МЕРЫ ОТ ОБЪЕМОВ ДАННЫХ......................................................................................................................................17
4.1. Автоматическое создание системы моделей на основе обучающей выборки различных объемов..........................................................................................................................................................17
4.2. Частотные распределения модулей уровня сходства объектов с классами при истинно-положительных, истинно-отрицательных, ложно-положительных и ложно-отрицательных решениях........................................................................................................................................................ 21
4.3. Динамика достоверности RND-моделей по F-мере Ван Ризбергена и L1- и L2- мерам проф.Е.В.Луценко......................................................................................................................................... 24
ВЫВОДЫ...........................................................................................................................................................27
ЛИТЕРАТУРА...................................................................................................................................................28
measure, mitigating and overcoming the shortcomings of the F-measures; these measures are described mathematically and their application is demonstrated on a simple numerical example. In the intellectual system called "Eidos", which is a software toolkit for the automated system-cognitive analysis (ASC-analysis), we have implemented all these measures of the reliability of the models: F, L1 and L2
Keywords: FUZZY MULTICLASS GENERALIZATION, CLASSICAL F-MEASURE OF PLAUSIBILITY FOR VAN RIJSBERGEN MODELS, ASC-ANALYSIS, "EIDOS" INTELLECTUAL SYSTEM
Введение
Классическая количественная мера достоверности моделей: F-мера Ван Ризбергена [1, 2] основана на подсчете суммарного количества верно и ошибочно классифицированных и не классифицированных объектов обучающей выборки .
В мультиклассовых системах классификации объект может одновременно относится ко многим классам. Соответственно при синтезе модели его описание используется для формирования обобщенных образов многих классов, к которым он относится. При использовании модели для классификации количественно определяется степень сходства-различия объекта со всеми классами, причем истинно-положительным решением может являться принадлежность объекта сразу к нескольким классам. В результате такой классификации обычно получается, что объект не просто правильно или ошибочно относится или не относится к различным классам, как в классической F-мере, но правильно или ошибочно относится или не относится к ним в различной степени.
Однако классическая F-мера не учитывает того, что объект может фактически одновременно относится ко многим классам (мультиклассо-вость) и того, что в результате классификации может быть получена различная степень сходства-различия объекта с классами (нечеткость решений классификатора).
На многочисленных численных примерах из различных предметных областей автором установлено, что при истинно-положительных и истинно-отрицательных решениях модуль сходства-различия объекта с классами как правило значительно выше, чем при ложно-положительных и ложно-отрицательных решениях. Это навело на мысль, что было бы рационально и обоснованно в мере достоверности модели учитывать не просто сам факт истинно или ложно положительного или отрицательного решения, но и учитывать степень уверенности классификатора в этих решениях.
При классификации больших данных было обнаружено большое количество ложно-положительных решений с низким уровнем сходства, которые, однако, суммарно вносят большой вклад в снижение достоверности модели. Чтобы преодолеть эту проблему предлагается L2-мера, в которой вместо сумм уровней сходства используется средние уровни сходства по различным вариантам классификации.
Таким образом, в данной работе предлагаются меры достоверности моделей, названые L1-мера и L2-мера, смягчающие и преодолевающие недостатки F-меры, эти меры описаны математически и их применение продемонстрировано на простом численном примере. В интеллектуальной системе «Эйдос», которая является программным инструментарием автоматизированного системно-когнитивного анализа (АСК-анализ), реализованы все эти меры достоверности моделей: F, L1 и L2. L2 меры предлагается называть ее L-мерой проф. Е.В. Луценко1).
Необходимо отметить, что в системе «Эйдос» изначально [3, 4, 5] используется предложенная их разработчиком проф. Е.В. Луценко мера достоверности моделей, сходная по форме с коэффициентом корреляции Мэтью [6] и по сути являющаяся нечетким мультиклассовым обобщением классической F-меры.
1. Описание классической Р-меры Ван Ризбергена
1.1. Краткое традиционное описание Р-меры Ван Ризбергена
Классическая количественная мера достоверности моделей: F-мера
Ван Ризбергена вряд ли нуждается в описании в данной статье, т.к. в
1 Автор делает это без ложной скромности, т.к. у него есть отрицательный опыт, когда предложенные и математически обоснованные им количественные меры уровня системности и степени детерминированности систем были названы им в честь выдающихся ученых, внесших большой вклад в развитие теории информации коэффициентами эмерджентности Хартли, Харкевича и Шеннона [4, 5]. В результате теперь очень многие думают, что эти коэффициенты эмерджентности были предложены этими учеными и часто пишут об этом в своих работах, ссылаясь на них, а не на их автора. Чтобы убедиться в этом достаточно сделать запрос: «коэффициенты эмерджентности Хартли Харкевича» [3]. Коэффицентам эмерджентности предложены в работе автора [5] в 2002 году и им посвящено много других работ [4, 12-18].
Internet есть более чем достаточно ее прекрасных описаний из которых автор все же выделил бы работы [1, 2].
Ниже приводится обширная выдержка из этой работы [2].
«Точность (precision) и полнота (recall) являются метриками которые используются при оценке большей части алгоритмов извлечения информации. Иногда они используются сами по себе, иногда в качестве базиса для производных метрик, таких как F-мера или R-Precision. Суть точности и полноты очень проста.
Точность системы в пределах класса - это доля документов действительно принадлежащих данному классу относительно всех документов которые система отнесла к этому классу.
Полнота системы - это доля найденных классификатором документов принадлежащих классу относительно всех документов этого класса в тестовой выборке.
Эти значения легко рассчитать на основании таблицы контингентно-сти, которая составляется для каждого класса отдельно.
Категория i Экспертная оценка
Положительная Отрицательная
Оценка системы Положительная TP FP
Отрицательная FN TN
В таблице содержится информация о том сколько раз система приняла верное и сколько раз неверное решение по документам заданного класса. А именно:
• ТР - истино-положительное решение;
• ТК - истино-отрицательное решение;
• БР - ложно-положительное решение;
• БК - ложно-отрицательное решение.
Тогда, точность Р и полнота Я определяются следующим образом:
„ . . TP
Precision =-
TP + FP
(1)
Recall =-
TP + FN
F-мера - характеристика, которая позволяет дать оценку достоверности модели одновременно по точности и полноте:
2 * Precision * Recall
1.2. F-мера Ван Ризбергена в обычных математических обозначениях
В простейшем случае для тестирования модели может использоваться обучающая выборка, на основе которой она создана.
В более сложных вариантах оценки достоверности модели может быть применен бутстрепный подход или как тестовая выборка использовано подмножество генеральной совокупности, по отношению к которой репрезентативна обучающая выборка.
В обсуждении работы [2] рассматривается два подхода к оценке достоверности модели: «micro-averaging» и «macro-averaging».
Micro-averaging - точность, полнота и F-мера вычисляется для каждого класса, а затем F-мера модели в целом рассчитывается как среднее F-мер по классам.
Macro-averaging - точность и полнота рассчитываются по всей модели в целом (при классификации всех объектов тестовой выборки по всем классам), а затем на их основе рассчитывается F-мера модели в целом.
Мы будем использовать подход: «macro-averaging», хотя и F-меру и по классам, и даже по объектам по ходу расчета F-меры модели в целом мы также посчитаем.
Для записи F-меры в более-менее стандартной математической символике введем следующие обозначения:
F =
Precision * Recall
(2)
Т - число объектов выборки;
К - число классов;
г - номер (код) объекта выборки;
У - номер (код) класса;
ИТр - суммарное по всей модели (по всем классам и всем объектам тестовой выборки) число истино-положительных решений (ТР - число объектов, правильно отнесенных к классам, к которым они действительно относятся);
- суммарное по всей модели (по всем классам и всем объектам тестовой выборки) число истино-отрицательных решений (ТК - число объектов, правильно не отнесенных к классам, к которым они действительно не относятся)2;
ИрР - суммарное по всей модели (по всем классам и всем объектам тестовой выборки) число ложно-положительных решений (БР - число объектов, неправильно отнесенных к классам, к которым они на самом деле не относятся);
Мрм - суммарное по всей модели (по всем классам и всем объектам тестовой выборки) число ложно-отрицательных решений (БК - число объектов, неправильно не отнесенных к классам, к которым они на самом деле относятся);
Р - точность модели;
Я - полнота модели;
В этих обозначениях точность Р, полнота Я и ^-мера модели определяются следующим образом:
2 При расчете F-меры не используется http://ej .kubagro.ru/2017/02/pdf/01 .pdf
P
R
F
N
TP
Ntp + Nfp
N
TP
ntp + nfn
(3)
2 PR
P + R
Здесь NTP, NFP, Nfn рассчитываются следующим образом:
T K
N
=ltp [i, j ]),
i=1 j=1
TK
NFp=Lfp [i, j ]), i=1 j=1
TK
Nfn=XIA-Lfn [i, j ]).
.(4)
i=1 j =1
Где: q( x) =
0, x < 0;
1 X > 0' - функция Хэвисайда;
LTP [i, j] = уровень сходства-различия (the level of similarity) i-го объекта с j-м классом в соответствии с моделью при истино-положительных решениях (TP);
Lfp [i, j]= уровень сходства-различия i-го объекта с j-м классом в соответствии с моделью при ложно-положительных решениях (FN);
Lfn [i, j]= уровень сходства-различия i-го объекта с j-м классом в соответствии с моделью при ложно-отрицательных решениях (FN).
Эти уровни сходства определяется в конкретных системах и моделях по-разному. Например, в системе Эйдос они определяются в 10 разных моделях (3 статистических и 7 системно-когнитивных), отличающихся частными критериями знаний, в соответствии с двумя интегральными критериями: суммой знаний и резонансом знаний [9].
1.3. Проблемы Р-меры Ван Ризбергена
1.3.1. Проблема мультиклассовости
Классическая Б-мера Ван Ризбергена предполагает, что один объект исследуемой выборки относится к одному классу (обобщающей категории). Но эта ситуация далека от реальности и является абстракцией, на подобие материальной точки или математической точки, которые реально не встречаются.
Реальные объекты всегда могут быть одновременно отнесены ко многим классам.
Например, преподаватель вуза может быть классифицирован как мужчина или женщина, как человек с высшим образованием, возможно имеющий ученую степень кандидата или доктора наук и ученые звания доцента или профессора или не имеющий их, как сын или дочь, как отец или мать, как дедушка или бабушка, брат или сестра, как человек определенного возраста, определенной национальности, принадлежащий или не принадлежащий определенной политической партии и т.д., и т.п.
Однако, классическая Б-мера Ван Ризбергена не учитывает такой возможности и рассматривает модели крайне упрощенно, что существенно снижает ценность этой меры для оценки достоверности моделей.
Это проблема, которую предлагается решать путем мультиклассово-го обобщения Б-меры.
1.3.2. Проблема нечеткости
В четких моделях в результате классификации объектов, т.е. оценки принадлежности или непринадлежности объектов к классам, определяется их принадлежность или не принадлежность к классам. При этом объект оказывается принадлежащим к одним классам и не принадлежащим к другим.
Однако в нечетких моделях в результате классификации объектов определяется не принадлежность или непринадлежность объекта к клас-
сам, а степень сходства-различия объекта с классами, которая по модулю может меняться от 0 до 1, а по знаку быть не только положительной, но и отрицательной (нечеткость решений классификатора). Это значит, что любой объект в нечеткой модели в различной степени принадлежит и не принадлежит не к отдельным классам, как в четких моделях, а ко всем классам.
Однако, классическая F-мера Ван Ризбергена не учитывает такой возможности и рассматривает модели крайне упрощенно, что существенно снижает ценность этой меры для оценки достоверности моделей.
Это проблема, которую предлагается решать путем нечеткого обобщения F-меры.
1.3.3. Проблема зависимости F-меры от объема данных
При увеличении объема выборки относительное количество ложно-
положительных решений будет увеличиваться по сравнению с истинно-положительными, что приводит к существенному и неприемлемому занижению достоверности модели по F-мере.
Это и есть проблема, которую предлагается решать путем обобщения F-меры, инвариантного относительно объема выборки, т.е. дающего одинаково корректные оценки достоверности моделей как при очень малых, так и средних и очень больших выборках, включая так называемые «большие данные» («big data»).
2. Нечеткое мальтиклассовое обобщение классической F-меры Ван Ризбергена (Li-мера)
2.1. Решение проблемы мультиклассовости
Если физический объект обучающей выборки одновременно относится к N классам, то его можно рассматривать как линейную суперпозицию N логических объектов, каждый из которых относится к одному из
этих N классов. Здесь используется терминология автоматизированного системно-когнитивного анализа (АСК-анализ).
Так в работе [8] автор еще в 1996 году писал: «Физическая анкета -это анкета, заполненная респондентом. Но этот респондент может относится одновременно ко многим градациям шкал классификации классов распознавания (см. 2.1.1.1, 2.1.1.2), т.е. быть одновременно, например, мужчиной, иметь определенный возраст, определенную национальность, определенную форму занятости и т.д., и т.п. Следовательно одну физическую анкету можно использовать для формирования обобщенных образов каждой из этих категорий, к которым относится заполнявший ее респондент. Это и означает, что одна физическая анкета рассматривается как
3
включающая некоторое количество логических анкет» .
В настоящее время в АСК-анализе говорится не о физических и логических анкетах, о физических и логических объектах, которые являются более общим понятием, чем анкеты, а анкеты - это частный случай объектов, но суть от этого не меняется, т.к. один мультиклассовый объект, т.е. относящийся одновременно ко многим классам, рассматривается как много моноклассовых объектов, каждый из которых относится к одному из этих классов. При этом моноклассовые объекты наследуют описание на языке признаков от мультиклассового объекта, т.е. описываются ими так же, как он.
2.2. Решение проблемы учета нечеткости
Примем, что предлагаемая Ы-мера рассчитывается точно также, как
классическая Б-мера, но вместо единичек к сумматорам, подсчитывающим количество различных исходов классификации (верных и ошибочных, положительных и отрицательных) суммируются модули уровней сходства объектов с классами, нормированные к интервалу: {0, 1}:
3 http://lc.kubagro.rU/aidos/aidos96/3.htm
БТр - сумма модулей сходства истино-положительных решений;
- сумма модулей сходства истино-отрицательных решений; Брр - сумма модулей сходства ложно-положительных решений; Брм - сумма модулей сходства ложно-отрицательных решений; Ps - 8-точность модели, т.е. нечеткая точность модели, посчитанная с учетом уровней сходства;
^ - 8-полнота модели, т.е. нечеткая полнота модели, посчитанная с учетом уровней сходства.
В этих обозначениях точность Ps, полнота и Ь1-мера модели определяются следующим образом:
с
р -,
с с + с
и Тр I и рр
с
кЕ = Стр
сТр + (5)
ы=^^. рс +
Здесь Стр, Срр, СРм рассчитываются следующим образом:
т к
стр = ЕЕ \ытр у ]|,
)=1 у=1
т к
срр = ЕЕ \ьрр [г, у ],
)=1 У=1
т к
СРМ = ЕЕ\ЫРХ J].
)=1 У=1 ........................(6)
т к
)=1 У=1
Использованы обозначения, введенные выше.
Так как модули уровня сходства-различия объектов с классами при истинных решениях значительно выше, чем при ложных, то Ы-мера на много точнее отражает уровень достоверности модели, чем классическая Б-мера Ван Ризбергена.
Более того, если учитывать только те решения, которые по модулю уровня сходства-различия выше, чем ложные, то можно определить порог
уровня сходства, различающий истинные и ложные решения, и с его помощью вообще отфильтровать ложные решения, как положительные, так и отрицательные.
2.3. Асимптотическое выполнение для 1.1-меры
принципа соответствия с Р-мерой Ван Ризбергена
Известно, что более общие модели включают в себя частные и в предельном случае асимптотически переходят в них, т.е. удовлетворяют принципу соответствия, и это является обязательным для более общих теорий .
Возникает естественный вопрос о том, выполняется ли этот фундаментальный методологический принцип для Ь-меры и Б-меры.
Ответ на этот вопрос совершенно элементарен и очевиден: «конечно соответствует». Убедиться в этом просто. Для этого достаточно, чтобы уровни сходства-различия 1-го объекта с ]-м классом в соответствии с моделью при истино-положительных, ложно- положительных, ложно-отрицательных решениях асимптотически стремились к 1:
^тр [, 7 ]®1
р [и 7 ]® 1 (7)
^ 7]®1
Тогда выражения (6) асимптотически перейдут в (4), и Ь1-мера в Б-меру. Проще говоря, если в некоторой модели считать, что объект относится к классу, если уровень сходства объекта с классом больше нуля, и считать что не относится, если уровень сходства объекта с классом меньше нуля, то Ь1-мера переходит в классическую Б-меру Ван Ризбергена.
4 См., например: http://dic.academic.ru/dic.nsf/enc philosophy/7345/СООТВЕТСТВИЯ
3. Инвариантное относительно объемов данных обобщение нечеткой мультиклассовой Li-меры достоверности моделей ^2-мера)
3.1. Проблема зависимости Li-меры от объема данных
Если моделируемая выборка мала, то ложно-положительных решений не может быть много и в Ll-мере они не будет оказывать сколько-нибудь существенного влияния на снижение достоверности модели, т.к., как правило, будут иметь очень низкий или низкий уровень сходства с классом (в отличие от F-меры, где всегда суммируются 1). Для снижения влияния подобных малых ошибок, т.е. ошибок с низким уровнем сходства, и разрабатывалась L1-мера [19].
Однако при увеличении объема выборки количество этих малых ошибок также будет возрастать, как и их суммарное влияние на оценку достоверности модели, даже с использованием L1-меры. F-мера в этом случае вообще покажет крайние низкие результаты оценки достоверности, хотя интуитивно мы понимаем, что модель не так плоха, как кажется по F-мере. В результате при достижении определенных объемов выборки суммарное влияние малых ошибок на оценку достоверности приведет к существенному и неприемлемому занижению ее достоверности не только по F-мере, но и даже по более разумной L1-мере.
Это и есть проблема, которую предлагается решать путем обобщения L1-меры, инвариантного относительно объема выборки, т.е. дающей одинаково корректные оценки достоверности моделей как при очень малых, так и средних и очень больших выборках, включая так называемые «большие данные» («big data»).
3.2. Решение проблемы зависимости Li-меры от объема данных (L2-мера)
Автором предлагается инвариантное относительно объемов данных
обобщение нечеткой мультиклассовой L1-меры [19] достоверности моде-
лей, адекватное для оценки достоверности моделей, построенных не только на малых и средних, но и на больших данных.
Для того, чтобы устранить зависимость от числа объектов распознаваемой выборки в Ll-мере, предлагается Ь2-мера, отличающаяся от Ll-меры тем, что в ней вместо сумм уровней сходства истинно и ложно положительных и отрицательных решений использовать средние, посчитанные путем деления этих сумм на количество объектов соответствующих категорий, т.е. на число истинно и ложно идентифицированных и не идентифицированных объектов.
Примем, что предлагаемая Ь2-мера рассчитывается точно также, как описанная выше Ll-мера, но вместо сумм модулей уровней сходства объектов с классами для различных исходов классификации (верных и ошибочных, положительных и отрицательных) рассчитываются средние (average) модулей уровней сходства, нормированные к интервалу: {0, 1}:
ATP - средний модуль сходства истино-положительных решений;
Atn - средний модуль сходства истино-отрицательных решений;
Afp - средний модуль сходства ложно-положительных решений;
Afn - средний модуль сходства ложно-отрицательных решений;
PA - A-точность модели, т.е. нечеткая точность модели, посчитанная с учетом средних модулей уровней сходства;
Ra - A-полнота модели, т.е. нечеткая полнота модели, посчитанная с учетом средних модулей уровней сходства.
В этих обозначениях точность PA, полнота RA и L2-мера модели определяются следующим образом:
РЛ Л _ ^ТР Л + Л ' ■Г1Гр 1 -"-рр
Л _ лТР
Л + Л ' у1тр -г
Ь2 _ 2Рл^Л Рл + '
(8)
Здесь Лтр, Лрр, Лры рассчитываются следующим образом:
Л ^тр II т 1М * ^р [ь 7 ]
N ' IV тр
Лрр II ъм* К [К 7 ] Ырр '
Л II т 1М * \Ьры [ь 7 ]
Ыры '
Использованы обозначения, введенные выше.
Так как модули уровня сходства-различия объектов с классами при истинных решениях значительно выше, чем при ложных, то Ы-мера на много точнее отражает уровень достоверности модели, чем классическая Б-мера Ван Ризбергена.
Так как средние модулей уровня сходства-различия объектов с классами при истинных решениях значительно выше, чем при ложных и они не зависят от объемов выборки, то Ь2-мера на много точнее отражает уровень достоверности модели, чем классическая Б-мера Ван Ризбергена и даже чем предложенная в работе [19] Ы-мера. Более того, если учитывать только те решения, которые по среднему модулю уровня сходства-различия выше, чем ложные, то можно вообще отфильтровать ложные решения, как
Эти меры достоверностей моделей: реализованы в новой версии системы «Эйдос» от 12.01.2017, которую можно скачать по ссылке: http://lc.kubagro.ru/aidos/ Aidos-X.htm.
В Help режимов 4.1.3.6, 4.1.3.7 и 4.1.3.8 кратко описаны F-мера, а также Ы-мера и Ь2-мера (рисунок 3):
Помощь по режимам: 4,1.3.6,4,1.3.7,4,1.3.8,4,1.3.10: Виды прогнозов и меры достоверности моделей б системе "Эйдос-Х++"
Помощь по режимам: 4.1.3.6, 4.1.3.7, 4.1.3.8, 4.1.3.10: Виды прогнозов и меры достоверности моделей в системе "Эйдос-х++". ПОЛОЖИТЕЛЬНЫЙ ПСЕВДОПРОГНОЗ.
Предположим, модель дает такой прогноз: выпадет 1, 2, 3, 4, 5 или 6. В этом случае у нее будет 100% достоверность идентификации, т.е. не будет ни одного объекта, не отнесенного к тому классу, к которому он действительно относится, но при этом будет очень большая ошибка ложной идентификации, т.к. огромное количество объектов будет отнесено к классам, к которым они не относятся (и именно за счет этого у модели и будет очень высокая достоверность идентификации), ясно, что такой прогноз бесполезен, поэтому он и назван мной псевдопрогнозом. ОТРИЦАТЕЛЬНЫЙ ПСЕВДОПРОГНОЗ.
Представим себе, что мы выбрасываем кубик с 6 гранями, и модель предсказывает, что не выпадет: 1, 2, 3, 4, 5 и 6, а что-то из этого естественно выпало. Конечно, модель дает ошибку в прогнозе в том плане, что не предсказала, что выпадет, зато она очень хорошо угадала, что не выпадет, но ясно, что выпадет что-то одно, а не все, что предсказано, поэтому такого рода предсказания хорошо оправдываются в том, что не произошло и плохо в том, что произошло, т.е. в этом случае у модели будет 100% достоверность не идентификации, но очень низкая достоверность идентификации. ИДЕАЛЬНЫЙ ПРОГНОЗ.
Если в случае с кубиком мы прогнозируем, что выпадет, например 1, и соответственно прогнозируем, что не выпадет 2, 3, 4, 5, и 6, то это идеальный прогноз, имеющий, если он осуществляется, 100% достоверность идентификации и не идентификации. Идеальный прогноз, который полностью снимает неопределенность о будущем состоянии объекта прогнозирования, на практике удается получить крайне редко и обычно мы имеем дело с реальным прогнозом. РЕАЛЬНЫЙ ПРОГНОЗ.
на практике мы чаще всего сталкиваемся именно с этим видом прогноза. Реальный прогноз уменьшает неопределенность о будущем состоянии объекта прогнозирования, но не полностью, как идеальный прогноз, а оставляет некоторую неопределенность не снятой, например, для игрального кубика делается такой прогноз: выпадет 1 или 2, и, соответственно, не выпадет 3, 4, 5 или 6. Понятно, что полностью на практике такой прогноз не может осуществиться, т.к. варианты выпадения кубика альтернативны, т.е. не может выпасть одновременно и 1, и 2. Поэтому у реального прогноза всегда будет определенная ошибка идентификации. Соответственно, если не осуществится один или несколько из прогнозируемых вариантов, то возникнет и ошибка не идентификации, т.к. это не прогнозировалось моделью, теперь представите себе, что у вас не 1 кубик и прогноз его поведения, а тысячи, тогда можно посчитать средневзвешенные характеристики всех этих видов прогнозов.
таким образом, если просуммировать число верно идентифицированных и не идентифицированных объектов и вычесть число ошибочно идентифицированных и не идентифицированных объектов, а затем разделить на число всех объектов то это и будет критерий качества модели (классификатора), учитывающий как ее способность верно относить объекты к классам, которым они относятся, так и ее способность верно не относить объекты к тем классам, к которым они не относятся. Этот критерий предложен и реализован в системе "эйдос" проф. Е.в.луценко в 1994 году, эта мера достоверности модели предполагает два варианта нормировки: {-1, +1} и {О, 1}-: LI = ( TP + TN - FP - FN ) / ( TP + tn + FP + fn ) (нормировка: f-1,+1})
L2 = ( 1 + ( TP + TN - FP - FN ) / ( TP + tn + FP + fn ) ) /2 (нормировка: { 0, 1})
где количество: tp - истино-положительных решений; TN - истино-отрицательных решений; FP - ложно-положительных решений; FN - ложно-отрицательных решений;
классическая F-мера достоверности моделей ван ризбергена (колонка выделена ярко-годубым фоном): F-mera = 2*(preci sion^RecaTO/iPrecisiorvfRecall) precision = tp/(tp+fp) - точность модели; Recall = тр/(тр+fn) - полнота модели;
Ll-мера проф.Е.В.Луценко - нечеткое мультиклассовое обобщение классической F-меры с учетом СУММ уровней сходства (колонка выделена ярко-зеленым фоном):
Ll-mera = 2*(sprecisionffSRecan)/(sprecision+SRecall)
sprecision = stp/(stp+sfp) - точность с учетом сумм уровней сходства;
SRecall = stp/(stp+sfn) - полнота с учетом сумм уровней сходства;
stp - сумма модулей сходства истино-положительных решении; stn - сумма модулей сходства истино-отрицательных решений; SFP - Сумма модулей сходства ложно-положительных решений; 5fn - Сумма модулей сходства ложно-отрицательных решений.
L2-Mepa проф.е.в.луценко - нечеткое мультиклассовое обобщение классической F-меры с учетом средних уровней сходства (колонка выделена желтым фоном):
L2-mera = 2a(APrecisioni,ARecan)/(APrecisiorH-ARecan)
APrecision = atp/(atp+afp) - точность с учетом средних уровней сходства;
ARecall - атр/(atp+afn) - полнота с учетом средних уровней сходства;
АТР=5ТР/ТР - Среднее модулей сходства истино-положительных решений; AFN=SFN/FN - Среднее модулей сходства истино-отрицательных решений; AFP=SFP/FP - Среднее модулей сходства ложно-положительных решений; AFN=SFN/FN - Среднее модулей сходства ложно-отрицательных решений.
строки с максимальными значениями F-меры, Ll-меры и 1.2-меры выделены фоном цвета, соответствующего колонке.
Луценко Е.В. Нечеткое мультиклассовое обобщение классической F-меры достоверности моделей Ван Ризбергена в ACK-анализе и системе "Эйдос" / Е.В. Луценко // Политемати-чесий сетевой электронный научный журнал Кубанского государственного аграрного университета (Научный журнал КубГАУ) [Электронный ресурс]. - Краснодар: КубГАУ, 2016. - №09(123). С. 1 - 29. - IDA [article ID]: 1231609001. - Режим доступа: http://ej.kubagro.ru/2016/09/pdf/01.pdf, 1,812 у. п. л.
Рисунок 1. Экранная форма Help режимов 4.1.3.6, 4.1.3.7 и 4.1.3.8
Численному исследованию зависимости F-меры, L1- и L2-меры от объемов данных посвящен следующий раздел в котором кратко рассмотрим простой численный пример, наглядно иллюстрирующий вышеизложенные теоретические положения.
4. Численный пример: исследование зависимости F-меры, L1- и Ь2-меры от объемов данных
4.1. Автоматическое создание системы моделей
на основе обучающей выборки различных объемов
Для проведения численных экспериментов используем случайные модели, т.е. модели, в которых объекты обучающей выборки характеризуются случайными кодами классов и признаков, а количество объектов обучающей выборки линейно меняется в определенном диапазоне с заданным
шагом. Случайные модели (мы будем называть их ЯМО-моделями) выбраны нами потому, что в на них удобнее всего прослеживать количественных характеристик объектов обучающей выборки и их количества, т.к. влияние других факторов на эти модели отсутствует).
Для создания и таких ЯМО-моделей используется режим 1.3 системы «Эйдос», в котором устанавливается лабораторная работа 2.09. «Исследование случайных семантических информационных моделей при различных объемах выборки» [20]5 (рисунок 2):
f") 1.3. Задание лабораторных работ
для инсталляции
11—^1
Задайте, каким путем устанавливать учебные приложения (лабораторные работы): С 1. Лаб.работы, устанавливаемые путем КОПИРОВАНИЯ готовых баз данных учебного приложения:
f* !2. Лаб.работы, устанавливаемые путем РАСЧЁТА исходных баз данных учебного приложения:] С 3. Лаб.работы, устанавливаемые путем ВВОДА из внешних баз данных с помощью программного интерфейса:
-2. Лаб.работы, Г Лаб.раб.№ С Лаб.раб.№ Г Лаб.раб.№ Г Лаб.раб.№ Г Лаб.раб.№ Г Лаб.раб.№ Г Лаб.раб.№ С Лаб.раб.№ Лаб.раб.№ Г Лаб.раб.М2
устанавливаемые путем РАСЧЕТА исходных баз данных учебного приложения:
2.01 2.02
2.03
2.04
2.05
2.06
2.07
2.08
2.09
2.10
Исследование Я МО-модели, аналогичной текущей Исследование свойств наг. чисел при раз л. объемах выборки Исследование детерминации свойств системы ее структурой Исследование зашумленных когнитивных Функций Исследование нормального распределения АСК-анализ изображений (на примере символов) Оценка стоимости квартир по параметрам квартиры, дома и района АСК-анализ числовых и символьных рядов, в т.ч. псевдослучаных чисел Исследование Я МО-модели при различны;-; объемах выборки В процессе разработки
Теория по Лаб.раб.М2 2.01
Теория по Лаб.раб.М- 2.02
Теория по Лаб.раб.М2 2.03
Теория по Лаб.раб.М2 2.04
Теория по Лаб.раб.М2 2.05
Теория по Лаб.раб.М2 2.06
Теория по Лаб.раб.М2 2.07
Теория по Лаб.раб.М2 2.08
Теория по Лаб.раб.М2 2.09
Теория по Лаб.раб.М2 2.10
Как задавать лабораторные работы для изучения
Задайте, какие лабораторные работы устанавливать. Для каждой лабораторной работы будет создана новая папка с числовым именем в папке с базовой группой приложений АЮ_0АТА, путь на которую задан в БД РаНчСгАр.ОВР, а также новая запись в Б Д Арр!®.^ с названием учебного приложения и путем на него. После завершения установки лабораторных работ необходимо задать одну из них в качестве текущей и выполнить синтез моделей в 3-й подистеме. Описания лабораторных работ есть на сайте автора: http://lc.kubagro.ru/aidos/aidos06_lab/, а также по адресу: http://www.twirpx.com/file/3826G/
Рисунок 2. Экранная форма режима 1.3. для установки лаб.работы 2.09
Отметим также, что учебное пособие [20] издано в 2006 году и в нем приведено устаревшее описание. В текущей версии системы «Эйдос», которую можно скачать по адресу: http://lc.kubagro.ru/aidos/ Aidos-X.htm6, алгоритм, приведенный в данном учебном пособии, полностью реализован программно.
5 Описание этой лаб. работы приведено по адресу: http://lc.kubagro.ru/aidos/aidos06 lab/lab 10.htm
6 Система «Эйдос» размещена на сайте автора в полном открытом бесплатном доступе и даже с исходными текстами
Для задания параметров генерации ЯМО-моделей в таблице, приведенной на рисунке 3, задаются начальные значения указанных параметров и шаг их изменения:
Задание параметров для расчета RND-моделей
Номер пара.. HdHt.ieHijEr.3HMe параметра Начальное значение параметра Liar Изменения параметра Конечное значение ■ параметра
1 Классификационных тпта.тт 0 10
2 Градаций в класс.шкале 0 3
3 Описательным шкал 10 0 10
4 Градации в опис.шкале 3 I! 3
5 Объектов обучагацей выборки 10 10 500
6 Классов в объекте обуч.выборки 5 р 5
1 Признаков в объекте обуч. выборки го 0 20
8 Число созпазае!£лс RND-нсделей 50 а 0
; ПОМОЩЬ ' Пересчитать параметры Выход на расчет RHD-прнложеннй
Рисунок 3. Экранная форма задания параметров генерации ЯМО-моделей создаваемых в лабораторной работе 2.09 (заданы параметры моделей, использованные в данной работе)
Вводятся параметры в колонках, отмеченных светло-зеленым фоном. Колонки со светло-желтым фоном расчетные.
На рисунке 4 приведен Help данного режима:
t) Помощь по установке лаб.работы 2.09
Что такое RND-модель?
RND-модель - это модель, в которой принадлежность объектов обучающей выборки к классам является случайной, как и признаки объектов, для генерации случайных кодов классов и признаков используется числовой генератор равномерно распределенных случайных чисел, при автоматическом определении параметров RND-модели на основе текущей модели количество классов, признаков и объектов обучающей выборки в RND-модели будет таким же, как в текущей модели. Среднее количество классов, к которым относится объект обучающей выборки и среднее количество признаков у него также будет совпадать с этими характеристиками объектов обуч.выборки текущей модели.
Зачем создается и исследуется RND-модель?
Информацию об объектах обучающей выборки текущей модели можно считать суммой полезной информации о них (полезный сигнал) и шума, в RND-модели вся информация представляет собой шум. поэтому сравнение этих моделей, не отличающихся перечисленными параметрами, позволяет оценить влияние значимой информации и шума на результаты, в частности убедиться в наличии самой этой значимой информации, т.е. закономерностей в предметной области, а также оценить эффективность различных стат.моделей и моделей знаний и интегральных критериев для выявления и исследования этой значимой информации, знаний и закономерностей, при увеличении объема обучающей Еыборки в RND-модели вероятность верной идентификации стремится к вероятности случайного угадывания, а в реальной модели к некоторому пределу, превосходящему вероятность случайного угадывания и характеризующему эффективность модели и целесообразность ее применения.
если при установке данной лабораторной работы уже есть текущее приложение, то оно автоматически исследуется и параметры RND-модели определяется в результате этого исследования, если же приложения отсутствуют, то отображается таблица, в которой пользователь может задать количество и характеристики формируемых приложений.
чтобы исследовать зависимость достоверности RND-модели от объема обучающей выборки (или других параметров) необходимо задать:
- начальные параметры моделей;
- шаг изменения начальных параметров в итерациях;
- число циклов (итераций), т.е. число приложений с различными объемами выборки, которые надо создать;
- кликнуть по кнопке: "пересчитать параметры";
- если все устраивает, то кликнуть по кнопке: "выход на расчет rnd-приложений" и нажать esc.
Рисунок 4. Экранная форма Help режима задания параметров генерации RND-моделей, создаваемых в лабораторной работе 2.09
Чтобы задать параметры в экранной форме, приведенной на рисунке
3, надо войти в поле с параметром, скорректировать его значение, закрыть поле, кликнуть: «Пересчитать параметры», затем «Выход на расчет RND-моделей» и Esc.
Затем начинается цикл генерации моделей и измерения их адекватности. На каждом шаге цикла создается одна модель. Для перехода на следующий шаг цикла необходимо кликнуть «ОК» на экранных формах, приведенных на рисунке 5:
(*) 3.5. Синтез и верификация заданных из 10 моделей
i I а i- -I
Стадии исполнения процесса
ИЬэ.г 1-й из 11: Копирование обучающей выборки в распознаваемую - Готово Шаг 2-й из 11: Синтез стат.модели "ABS" (расчет матрицы абсолютных частот) - Готово Шаг 3-й из 11: Синтез стат.моделей "PRC1" и "PRC2" (усл.безусл.% распр.) - Готово Шаг а-й из 11: Синтез моделей знаний: INF1-INF7- Готово
НАЧАЛО ЦИКЛА ПО ЧАСТНЫМ И ИНТЕГРАЛЬНЫМ КРИТЕРИЯМ-ИСПОЛНЕНИЕ:-...
Шаг 5-й из 11: Зааание модели "INF7" в качестве текущей - Готово Шаг 6-й из 11. Пакетное распознавание в модели "INF7" - Готово
Шаг 7-й из 11: Измерение достоверности модели:"Inf7" - Интегральный критерий: "Сумма знаний" - Готово
КОНЕЦ ЦИКЛА ПО ЧАСТНЫМ И ИНТЕГРАЛЬНЫМ КРИТЕРИЯМ - ГОТОВО:-...
Шаг 8-й из 11: объединение БД DoslRsp# в БД DostRasp - Готово
Шаг 9-й из 11: Печать сводной формы по результатам верификации моделей - Готово
Шаг 10-й из 11: Создание формы: "Достоверность идент.классов в различных моделях" - Готово
Шаг 11-й из 11: "Присвоение заданной модели: Infi статуса текущей" - Готово
Синтез и верификация заданных стат.моделей и моделей знаний упешно завершена !!!
Прогноз времени исполнения
Начало: 18:57:37 Окончание: 18:57:51
100%
Прошло: 0:00:13
Осталось: 0:00:00
Рисунок 5. Экранные формы режима генерации ЯМО-моделей, повторяющиеся в каждом цикле (лабораторная работа 2.09)
По окончании цикла синтеза и верификации RND-моделей система входит в папку каждого приложения, открывает базу данных «Dost_modCls.dbf» (визуализируется в экранной форме в режиме 4.1.3.6), находит в ней строки с максимальной достоверностью RND-модели данного приложения по F, L1 и L2 критериям и записывает эти строки соответственно в базы данных: «AddDataF.DBF», «AddDataL1.DBF», «AddDataL2.DBF». Аналогичные функции для произвольных моделей выполняет режим 4.1.3.12. Все эти базы открываются в MS Excel и приведены в архиве по ссылке: http://ej .kubagro.ru/2017/02/upload/01 .zip.
4.2. Частотные распределения модулей уровня сходства объектов с классами при истинно-положительных, истинно-отрицательных, ложно-положительных и ложно-отрицательных решениях
Эти частотные формируются в процессе синтеза и верификации моделей в режиме 3.5 и визуализируются в виде экранных форм и графиков в режиме 4.1.3.11 (рисунки 6, 7, 8, 9):
Рисунок 6. Экранная форма с частотными распределениями модулей уровня сходства объектов с классами при истинно-положительных, истинно-отрицательных, ложно-положительных и ложно-отрицательных
решениях в табличной форме
Рисунок 7. Частотные распределения модулей уровня сходства объектов с классами при TP, TN, FP и FN решениях при в RND-INF1 модели, созданной на обучающей выборке из 100 объектов, при интегральном
критерии «резонанс знаний»
Рисунок 8. Частотные распределения модулей уровня сходства объектов с классами при TP, 'Ш, FP и FN решениях при в RND-INF1 модели, созданной на обучающей выборке из 300 объектов, при интегральном
критерии «резонанс знаний»
-100 -90 -80 -70 -Б0 Щ -40 -30 -20 -10 0 10 20 30 40 50 80 70 80 90 100
- 4 аст. распр. ур. сх.ложно-положительных решений IFP) - 4 аст. распр. у р. сх.истинно-положительных решений [ТР]
- Част.распр.ур.сх. ложно-отрицательных решений (FN) - 4аст.распр.ур.сх.истинно-отрицательных решений (TN)
Рисунок 9. Частотные распределения модулей уровня сходства объектов с классами при TP, TN, FP и FN решениях при в RND-INF1 модели, созданной на обучающей выборке из 500 объектов, при интегральном
критерии «резонанс знаний»
Анализируя частотные распределения, представленные на рисунках 7, 8, 9, можно сделать следующие выводы:
1. Во всех RND-моделях INF1, созданных на выборках 100, 300 и 500 объектов, при отрицательных решениях модули уровней сходства истинных решений всегда значительно выше, чем ложных, что позволяет легко их разделить.
2. В RND-моделях INF1, созданных на выборке 100 объектов (рисунок 7), при положительных решениях модули уровней сходства истинных решений выше, чем ложных при значениях выше 50%, что позволяет легко их разделить.
3. Чем больше объем выборки, на основе которой созданы RND-модели INF1, тем меньше различие между истинными и ложными положительными решениями при высоких уровнях сходства, т.е. тем сложнее их
разделить, что вполне ожидаемо при в случайных моделях, т.к. начинает работать закон больших чисел.
4. При всех объемах выборки и всех типах решений в RND-INF1 моделях преобладают низкие модули уровней сходства и их частотные распределениях асимптотически приближаются к нормальным при увеличении объемов выборки. Очень важно, что наличие закономерностей в обучающей выборки приводит к отклонению этих распределений от нормальных тем в большей степени, чем сильнее выражены эти закономерности. Поэтому всегда есть смысл сравнивать реальные модели со случайными с теми же характеристиками классификационных и описательных шкал и объектов обучающей выборки и их количества. Кроме того это свидетельствует в пользу правильности логики данной статьи и необходимости учета моделей уровней сходства различных типов решений при оценке досто-верностей моделей, что и является одой из целей данной работы.
Отметим также, что все вышерассмотренные и ряд других частотных распределений модулей уровней сходства различных решений находятся в базе данных: c:\Aidos-X\AID_DATA\A0000001\System\DostRasp.dbf, которая открывается в MS Excel.
4.3. Динамика достоверности RND-моделей по F-мере Ван Ризбергена и L1- и L2- мерам проф.Е.В.Луценко
Вручную из баз данных: «AddDataF.DBF», «AddDataL1.DBF», «AddDataL2.DBF» сделана выборка, собранная в таблице 1. На рисунке 10 приведена динамика F-меры Ван Ризбергена и L1- и L2- мерам проф.Е.В.Луценко в зависимости от объема выборки RND-модели.
Таблица 1 - Выборка из баз данных: «AddDataF.DBF», «AddDataL 1 .DBF», «AddDataL2.DBF»
N LOGOBJ F MERA L1 MERA L2 MERA
50 0,7462687 0,9440985 0,9216123
100 0,6191950 0,8747568 0,9128669
150 0,5555556 0,8164384 0,8178066
200 0,6766917 0,8086908 0,7944448
250 0,5941807 0,7853408 0,7621984
300 0,6338216 0,8138223 0,7642433
350 0,5978723 0,7290632 0,7324589
400 0,5847300 0,7096748 0,7287162
450 0,5501243 0,6954419 0,7212940
500 0,5210564 0,6632303 0,7184592
550 0,5200765 0,6556550 0,6916612
600 0,4997081 0,6409428 0,6997943
650 0,4981530 0,6238777 0,6900632
700 0,4883268 0,6145793 0,6870606
750 0,4749436 0,6026633 0,6844472
800 0,4671782 0,6035369 0,6864563
850 0,4758097 0,5904120 0,6858278
900 0,4467379 0,5609413 0,6868813
950 0,4518828 0,5580294 0,6847359
1000 0,4435037 0,5422770 0,6860420
1050 0,4313846 0,5416648 0,6794039
1100 0,4292944 0,5438828 0,6819505
1150 0,4244624 0,5254345 0,6824691
1200 0,4227990 0,5139290 0,6776529
1250 0,4212975 0,5209263 0,6785979
1300 0,4065465 0,4991672 0,6795493
1350 0,4154930 0,5106006 0,6796841
1400 0,4093253 0,4939947 0,6792936
1450 0,3986254 0,4965748 0,6765604
1500 0,4092906 0,4897575 0,6792534
1550 0,3889331 0,4852620 0,6784022
1600 0,3951890 0,4710423 0,6771027
1650 0,3925967 0,4737213 0,6761148
1700 0,3867483 0,4690247 0,6766292
1750 0,3929577 0,4752231 0,6781117
1800 0,3876622 0,4637273 0,6742254
1850 0,3796236 0,4566109 0,6752935
1900 0,3760140 0,4578251 0,6732459
1950 0,3716216 0,4574980 0,6735399
2000 0,3701014 0,4467566 0,6742162
2050 0,3733728 0,4578373 0,6738582
2100 0,3667233 0,4459182 0,6737837
2150 0,3679533 0,4531856 0,6738719
2200 0,3680716 0,4489799 0,6735162
2250 0,3657577 0,4322233 0,6739198
2300 0,3542492 0,4295546 0,6740842
2350 0,3631124 0,4299804 0,6727706
2400 0,3627561 0,4406393 0,6725927
2450 0,3668567 0,4458789 0,6745279
2500 0,3732035 0,4466389 0,6732741
Динамика Р-меры Ван Ризбергена и 1_1- и 1.2- мер проф.Е.В.Луценко в зависимости от объема выборки РЫй-модели
1,00
2 0,40
о
о
ё 0,30
0,20 | 0,10
0,00 J----1
0 500 1000 1500 2000 2500 3000
Число объектов обучающей выборки
Рисунок 10. Динамика Б-меры Ван Ризбергена и Ь1- и Ь2- мерам проф.Е.В.Луценко в зависимости от объема выборки К№0-модели
Отметим, что один физический объект обучающей выборки содержит 5 логических объектов обучающей выборки (см. рисунок 3), т.е. используется для формирования 5 обобщенных образов классов (муль-тиклассовость [19]).
Из рисунка 10 видно, что:
- все рассмотренные меры достоверности К№0-моделей имеют асимптотический характер, т.е. плавно приближаются к некоторому предельному значению при увеличении объема выборки;
- для всех трех мер эти значения разные: для Б-меры оно равно около 0,5, для Ы-меры - около 0,45, а для Ь2-меры - около 0,68;
- рассмотренные меры имеют разную скорость сходимости: быстрее всех сходится Ь2-мера: ее значение стабилизируется уже при объеме выборки около 500-600 объектов, Б- и Ь1- меры сходятся к своим значениям лишь при 2500 объектах обучающей выборки.
Выводы
На основании вышеизложенного можно обоснованно сделать следующие выводы.
Во-первых, мы видим, что в соответствии с Ы-мерой достоверности моделей [19] созданные модели обладают примерно на 0,2-0,1 более высокой достоверностью, чем по Б-мере Ван Ризбергена. Это обусловлено учетом уровня сходства объектов обучающей выборки с обобщенными образами классов при истинных и ложных, положительных и отрицательных решениях.
Во-вторых, мы видим, что при малых выборках (примерно до 400 объектов) Ы-мера изменяется значительно более плавно, чем Б-мера Ван Ризбергена (которая при малых выборках имеет большие колебания и напоминает по виду функцию затухающего гармонического колебания), т.е. она гораздо более устойчива к шуму, который особенно сильно сказывается при малых выборках. Это значит, что при малых выборках Б-мера Ван Ризбергена ненадежна. Но именно при этих выборках ее значения близки к значениям Ь1 и Ь2 мер.
В-четвертых, и Б-мера Ван Ризбергена, и Ы-мера плавно уменьшаются при увеличении объема обучающей выборки, асимптотически приближаясь, соответственно, к значениям: 0,35 и 0,45. По-видимому, это может отражать качество используемого генератора псевдослучайных чисел [21].
В-пятых, при малых выборках (примерно до 400 объектов) значения достоверности моделей по Ы-мере и по Ь2-мере примерно совпадают. Это может означать, что при малых выборках при увеличении числа объектов обучающей выборки достоверность модели уменьшается не потому, что увеличивается число ложно-положительных решений (эта причина преодолена в мере Ь2-мере за счет ее математической формы), а из-за услож-
нения условий рения задачи синтеза модели и решения в ней задачи идентификации при увеличении числа объектов.
В-шестых, при увеличении объема выборки до 500 объектов и более и F-мера Ван Ризбергена, и Ll-мера плавно уменьшаются при увеличении объема обучающей выборки, а L2-мера стабилизируется, очень медленно асимптотически приближаясь к значению 0,68.
В-седьмых, все приведенные выше количественные параметры динамики достоверности моделей по-видимому отражают не только закономерности, имеющие общий характер, но и свойства конкретного генератора псевдослучайных чисел, используемого в данных расчетах (это стандартный генератор языка программирования), а также свойства математических моделей самой системы «Эйдос».
Таким образом, можно сделать общий вывод о том, что задача, поставленная в работе, успешно решена: инвариантное относительно объемов данных нечеткое мультиклассовое обобщение F-меры достоверности моделей разработано.
Предлагаемые технологии синтеза и верификации моделей могут быть использованы при создании и применении адаптивных интеллектуальных измерительных систем [10], а также разработке нечетких муль-тиклассовых обобщений других мер достоверности моделей, инвариантных относительно объема выборки и устойчивых к шуму при малых выборах.
Литература
1. Сайт: http://bazhenov.me/blog/2012/07/21/classification-performance-evaluation.html
2. Сайт: https://habrahabr.ru/post/228963/
3. Луценко Е.В. Универсальная когнитивная аналитическая система «Эйдос". Монография (научное издание). - Краснодар, КубГАУ. 2014. - 600 с. ISBN 978-594672-830-0. http://elibrary.ru/item.asp?id=22401787
4. Орлов А.И., Луценко Е.В. Системная нечеткая интервальная математика. Монография (научное издание). - Краснодар, КубГАУ. 2014. - 600 с. ISBN 978-5-94672757-0. http://elibrary.ru/item.asp?id=21358220
5. Луценко Е.В. Автоматизированный системно-когнитивный анализ в управлении активными объектами (системная теория информации и ее применение в исследовании экономических, социально-психологических, технологических и организационно-технических систем): Монография (научное издание). - Краснодар: КубГАУ. 2002. -605 с. http://elibrary.ru/item.asp?id=18632909
6. Амелькин С.А. Оценка эффективности рекомендательных систем. http://rcdl.ru/doc/2012Zpaper44.pdf
7. Шевелев О.Г. Методы автоматической классификации текстов на естественном языке: Учебное пособие. Томск: ТМЛ-Пресс, 2007. - 144c.
8. Луценко Е.В. Теоретические основы и технология адаптивного семантического анализа в поддержке принятия решений (на примере универсальной автоматизированной системы распознавания образов "ЭЙДОС-5.1"). - Краснодар: КЮИ МВД РФ, 1996. - 280с. http://elibrary.ru/item.asp?id=21745340
9. Луценко Е.В. Метризация измерительных шкал различных типов и совместная сопоставимая количественная обработка разнородных факторов в системно-когнитивном анализе и системе «Эйдос» / Е.В. Луценко // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета (Научный журнал КубГАУ) [Электронный ресурс]. - Краснодар: КубГАУ, 2013. -№08(092). С. 859 - 883. - IDA [article ID]: 0921308058. - Режим доступа: http://ej.kubagro.ru/2013/08/pdf/58.pdf, 1,562 у.п.л.
10. Луценко Е.В. Синтез адаптивных интеллектуальных измерительных систем с применением АСК-анализа и системы «Эйдос» и системная идентификация в эконометрике, биометрии, экологии, педагогике, психологии и медицине / Е.В. Луценко // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета (Научный журнал КубГАУ) [Электронный ресурс]. - Краснодар: КубГАУ, 2016. - №02(116). С. 1 - 60. - IDA [article ID]: 1161602001. - Режим доступа: http://ej.kubagro.ru/2016/02/pdf/01.pdf, 3,75 у.п.л.
11. https://yandex.ru/search/?msid=1478655999.15495.22884.13159&text=коэффицие нты%20эмерджентности%20Хартли%20%20Харкевича&lr=35
12. Луценко Е.В. Количественные меры возрастания эмерджентности в процессе эволюции систем (в рамках системной теории информации) / Е.В. Луценко // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета (Научный журнал КубГАУ) [Электронный ресурс]. - Краснодар: КубГАУ, 2006. - №05(021). С. 355 - 374. - Шифр Информрегистра: 0420600012\0089, IDA [article ID]: 0210605031. - Режим доступа: http://ej.kubagro.ru/2006/05/pdf/31 .pdf, 1,25 у.п.л.
13. Луценко Е.В. Обобщенный коэффициент эмерджентности Хартли как количественная мера синергетического эффекта объединения булеанов в системном обобщении теории множеств / Е. В. Луценко // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета (Научный журнал КубГАУ) [Электронный ресурс]. - Краснодар: КубГАУ, 2011. - №02(066). С. 535 - 545. - Шифр Информрегистра: 0421100012\0031, IDA [article ID]: 0661102045. - Режим доступа :httE^ej^jbagro^^01L/02/pdf745^, 0,688 у.п.л.
14. Луценко Е.В. Исследование влияния подсистем различных уровней иерархии на эмерджентные свойства системы в целом с применением АСК-анализа и интеллектуальной системы "Эйдос" (микроструктура системы как фактор управления ее макросвойствами) / Е.В. Луценко // Политематический сетевой электронный научный журнал
Кубанского государственного аграрного университета (Научный журнал КубГАУ) [Электронный ресурс]. - Краснодар: КубГАУ, 2012. - №01(075). С. 638 - 680. - Шифр Информрегистра: 0421200012\0025, IDA [article ID]: 0751201052. - Режим доступа: http://ei.kubagro.ru/2012/01/pdf/52.pdf, 2,688 у.п.л.
15. Луценко Е.В. Количественная оценка уровня системности на основе меры информации К. Шеннона (конструирование коэффициента эмерджентности Шеннона) / Е.В. Луценко // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета (Научный журнал КубГАУ) [Электронный ресурс]. - Краснодар: КубГАУ, 2012. - №05(079). С. 249 - 304. - IDA [article ID]: 0791205018. - Режим доступа: http://ei.kubagro.ru/2012/05/pdf/18.pdf, 3,5 у.п.л.
16. Луценко Е.В. Коэффициент эмерджентности классических и квантовых статистических систем / Е.В. Луценко, А.П. Трунев // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета (Научный журнал КубГАУ) [Электронный ресурс]. - Краснодар: КубГАУ, 2013. - №06(090). С. 214 - 235. - IDA [article ID]: 0901306014. - Режим доступа: http://ei.kubagro.ru/2013/06/pdf/14.pdf, 1,375 у.п.л.
17. Трунев А.П. Гравитационные волны и коэффициент эмерджентности классических и квантовых систем / А.П. Трунев, Е.В. Луценко // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета (Научный журнал КубГАУ) [Электронный ресурс]. - Краснодар: КубГАУ, 2014. -№03(097). С. 1343 - 1366. - IDA [article ID]: 0971403092. - Режим доступа: http://ei.kubagro.ru/2014/03/pdf/92.pdf, 1,5 у.п.л.
18. Трунев А.П. Логарифмический закон и коэффициент эмерджентности классических и квантовых систем / А.П. Трунев, Е.В. Луценко // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета (Научный журнал КубГАУ) [Электронный ресурс]. - Краснодар: КубГАУ, 2016. -№06(120). С. 1659 - 1685. - IDA [article ID]: 1201606110. - Режим доступа: http://ei .kubagro.ru/2016/06/pdf/110.pdf, 1,688 у.п.л.
19. Луценко Е.В. Нечеткое мультиклассовое обобщение классической F-меры достоверности моделей Ван Ризбергена в АСК-анализе и системе «Эйдос» / Е.В. Луценко // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета (Научный журнал КубГАУ) [Электронный ресурс]. -Краснодар: КубГАУ, 2016. - №09(123). С. 1 - 29. - IDA [article ID]: 1231609001. - Режим доступа: http://ei.kubagro.ru/2016/09/pdf/01.pdf, 1,812 у.п.л.
20. Луценко Е.В. Интеллектуальные информационные системы: Учебное пособие для студентов специальности "Прикладная информатика (по областям)" и другим экономическим специальностям. 2-е изд., перераб. и доп.- Краснодар: КубГАУ, 2006. -615 с. http://elibrary.ru/item.asp?id=18632602
21. Луценко Е.В. Асимптотический информационный критерий качества шума / Е.В. Луценко, А.И. Орлов // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета (Научный журнал КубГАУ) [Электронный ресурс]. - Краснодар: КубГАУ, 2016. - №02(116). С. 1569 - 1618. - IDA [article ID]: 1161602100. - Режим доступа: http://ei.kubagro.ru/2016/02/pdf/100.pdf, 3,125 у. п. л.
Literatura
1. Sait: http://bazhenov.me/blog/2012/07/21/classification-performance-evaluation.html
2. Sait: https://habrahabr.ru/post/228963/
3. Lucenko E.V. Universal'naja kognitivnaja analiticheskaja sistema «Jejdos". Mono-grafija (nauchnoe izdanie). - Krasnodar, KubGAU. 2014. - 600 s. ISBN 978-5-94672-830-0. http://elibrary.ru/item.asp?id=22401787
4. Orlov A.I., Lucenko E.V. Sistemnaja nechetkaja interval'naja matematika. Mo-nografija (nauchnoe izdanie). - Krasnodar, KubGAU. 2014. - 600 s. ISBN 978-5-94672-7570. http://elibrary.ru/item.asp?id=21358220
5. Lucenko E.V. Avtomatizirovannyj sistemno-kognitivnyj analiz v upravle-nii ak-tivnymi ob#ektami (sistemnaja teorija informacii i ee primenenie v issledo-vanii jekonomich-eskih, social'no-psihologicheskih, tehnologicheskih i organizacion-no-tehnicheskih sistem): Monografija (nauchnoe izdanie). - Krasnodar: KubGAU. 2002. - 605 s. http://elibrary.ru/item.asp?id=18632909
6. Amel'kin S.A. Ocenka jeffektivnosti rekomendatel'nyh sistem. http://rcdl.ru/doc/2012/paper44.pdf
7. Shevelev O.G. Metody avtomaticheskoj klassifikacii tekstov na estestven-nom jazyke: Uchebnoe posobie. Tomsk: TML-Press, 2007. - 144c.
8. Lucenko E.V. Teoreticheskie osnovy i tehnologija adaptivnogo semantichesko-go analiza v podderzhke prinjatija reshenij (na primere universal'noj avtomatiziro-vannoj sistemy raspoznavanija obrazov "JeJDOS-5.1"). - Krasnodar: KJul MVD RF, 1996. - 280s. http://elibrary.ru/item.asp?id=21745340
9. Lucenko E.V. Metrizacija izmeritel'nyh shkal razlichnyh tipov i sovmestnaja sopostavimaja kolichestvennaja obrabotka raznorodnyh faktorov v sistemno-kognitivnom an-alize i sisteme «Jejdos» / E.V. Lucenko // Politematicheskij setevoj jelektronnyj nauchnyj zhurnal Kubanskogo gosudarstvennogo agrarnogo universiteta (Nauchnyj zhurnal KubGAU) [Jelektronnyj resurs]. - Krasnodar: KubGAU, 2013. - №08(092). S. 859 - 883. - IDA [article ID]: 0921308058. - Rezhim dostupa: http://ej.kubagro.ru/2013/08/pdf/58.pdf, 1,562 u.p.l.
10. Lucenko E.V. Sintez adaptivnyh intellektual'nyh izmeritel'nyh sistem s primeneniem ASK-analiza i sistemy «Jejdos» i sistemnaja identifikacija v jekono-metrike, biometrii, jekologii, pedagogike, psihologii i medicine / E.V. Lucenko // Politematicheskij setevoj jel-ektronnyj nauchnyj zhurnal Kubanskogo gosudarstvenno-go agrarnogo universiteta (Nauch-nyj zhurnal KubGAU) [Jelektronnyj resurs]. - Kras-nodar: KubGAU, 2016. - №02(116). S. 1 - 60. - IDA [article ID]: 1161602001. - Rezhim dostupa: http://ej.kubagro.ru/2016/02/pdf/01.pdf, 3,75 u.p.l.
11.
https://yandex.ru/search/?msid=1478655999.15495.22884.13159&text=kojefficienty %20j emerdzhentnosti%20Hartli%20%20Harkevicha&lr=3 5
12. Lucenko E.V. Kolichestvennye mery vozrastanija jemerdzhentnosti v processe jev-oljucii sistem (v ramkah sistemnoj teorii informacii) / E.V. Lucenko // Polite-maticheskij setevoj jelektronnyj nauchnyj zhurnal Kubanskogo gosudarstvennogo ag-rarnogo universiteta (Nauchnyj zhurnal KubGAU) [Jelektronnyj resurs]. - Krasnodar: KubGAU, 2006. -№05(021). S. 355 - 374. - Shifr Informregistra: 0420600012\0089, IDA [article ID]: 0210605031. - Rezhim dostupa: http://ej.kubagro.ru/2006/05/pdf/31.pdf, 1,25 u.p.l.
13. Lucenko E.V. Obobshhennyj kojefficient jemerdzhentnosti Hartli kak kolichestvennaja mera sinergeticheskogo jeffekta ob#edinenija buleanov v sistemnom obobshhe-nii teorii mnozhestv / E.V. Lucenko // Politematicheskij setevoj jelektronnyj nauch-nyj zhurnal Kubanskogo gosudarstvennogo agrarnogo universiteta (Nauchnyj zhurnal KubGAU) [Jelektronnyj resurs]. - Krasnodar: KubGAU, 2011. - №02(066). S. 535 - 545. - Shifr Informregistra: 0421100012\0031, IDA [article ID]: 0661102045. - Rezhim dos-tupa:http://ej.kubagro.ru/2011/02/pdf/45.pdf, 0,688 u.p.l.
14. Lucenko E.V. Issledovanie vlijanija podsistem razlichnyh urovnej ierarhii na jemerdzhentnye svojstva sistemy v celom s primeneniem ASK-analiza i intellek-tual'noj sis-
temy "Jejdos" (mikrostruktura sistemy kak faktor upravlenija ee makro-svojstvami) / E.V. Lucenko // Politematicheskij setevoj jelektronnyj nauchnyj zhurnal Kubanskogo gosudar-stvennogo agrarnogo universiteta (Nauchnyj zhurnal KubGAU) [Jelektronnyj resurs]. - Krasnodar: KubGAU, 2012. - №01(075). S. 638 - 680. - Shifr Informregistra: 0421200012\0025, IDA [article ID]: 0751201052. - Rezhim dostu-pa: http://ej.kubagro.ru/2012/01/pdf/52.pdf, 2,688 u.p.l.
15. Lucenko E.V. Kolichestvennaja ocenka urovnja sistemnosti na osnove mery in-formacii K. Shennona (konstruirovanie kojefficienta jemerdzhentnosti Shennona) / E.V. Lucenko // Politematicheskij setevoj jelektronnyj nauchnyj zhurnal Kubanskogo gosudarstven-nogo agrarnogo universiteta (Nauchnyj zhurnal KubGAU) [Jelektronnyj resurs]. - Krasnodar: KubGAU, 2012. - №05(079). S. 249 - 304. - IDA [article ID]: 0791205018. - Rezhim dostupa: http://ej.kubagro.ru/2012/05/pdf/18.pdf, 3,5 u.p.l.
16. Lucenko E.V. Kojefficient jemerdzhentnosti klassicheskih i kvantovyh stati-sticheskih sistem / E.V. Lucenko, A.P. Trunev // Politematicheskij setevoj jelektron-nyj nauchnyj zhurnal Kubanskogo gosudarstvennogo agrarnogo universiteta (Nauchnyj zhurnal KubGAU) [Jelektronnyj resurs]. - Krasnodar: KubGAU, 2013. - №06(090). S. 214 - 235. -IDA [article ID]: 0901306014. - Rezhim dostu-pa: http://ej.kubagro.ru/2013/06/pdf/14.pdf, 1,375 u.p.l.
17. Trunev A.P. Gravitacionnye volny i kojefficient jemerdzhentnosti klassi-cheskih i kvantovyh sistem / A.P. Trunev, E.V. Lucenko // Politematicheskij setevoj jelektronnyj nauchnyj zhurnal Kubanskogo gosudarstvennogo agrarnogo universiteta (Nauchnyj zhurnal KubGAU) [Jelektronnyj resurs]. - Krasnodar: KubGAU, 2014. - №03(097). S. 1343 - 1366.
- IDA [article ID]: 0971403092. - Rezhim dostu-pa: http://ej.kubagro.ru/2014/03/pdf/92.pdf, 1,5 u.p.l.
18. Trunev A.P. Logarifmicheskij zakon i kojefficient jemerdzhentnosti klassi-cheskih i kvantovyh sistem / A.P. Trunev, E.V. Lucenko // Politematicheskij setevoj jelektronnyj nauchnyj zhurnal Kubanskogo gosudarstvennogo agrarnogo universiteta (Nauchnyj zhurnal KubGAU) [Jelektronnyj resurs]. - Krasnodar: KubGAU, 2016. - №06(120). S. 1659 - 1685.
- IDA [article ID]: 1201606110. - Rezhim dostu-pa: http://ej.kubagro.ru/2016/06/pdf/110.pdf, 1,688 u.p.l.
19. Lucenko E.V. Nechetkoe mul'tiklassovoe obobshhenie klassicheskoj F-mery dos-tovernosti modelej Van Rizbergena v ASK-analize i sisteme «Jejdos» / E.V. Lucenko // Politematicheskij setevoj jelektronnyj nauchnyj zhurnal Kubanskogo gosudarstven-nogo agrarnogo universiteta (Nauchnyj zhurnal KubGAU) [Jelektronnyj resurs]. - Krasnodar: KubGAU, 2016. - №09(123). S. 1 - 29. - IDA [article ID]: 1231609001. - Re-zhim dostupa: http://ej.kubagro.ru/2016/09/pdf/01.pdf, 1,812 u.p.l.
20. Lucenko E.V. Intellektual'nye informacionnye sistemy: Uchebnoe posobie dlja stu-dentov special'nosti "Prikladnaja informatika (po oblastjam)" i drugim jeko-nomicheskim special'nostjam. 2-e izd., pererab. i dop.- Krasnodar: KubGAU, 2006. - 615 s. http://elibrary.ru/item.asp?id=18632602
21. Lucenko E.V. Asimptoticheskij informacionnyj kriterij kachestva shuma / E.V. Lucenko, A.I. Orlov // Politematicheskij setevoj jelektronnyj nauchnyj zhurnal Kubanskogo gosudarstvennogo agrarnogo universiteta (Nauchnyj zhurnal KubGAU) [Jelektronnyj resurs].
- Krasnodar: KubGAU, 2016. - №02(116). S. 1569 - 1618. - IDA [article ID]: 1161602100.
- Rezhim dostupa: http://ej.kubagro.ru/2016/02/pdf/100.pdf, 3,125 u.p.l.
