CC BY
19
УДК 004.8
Э.Д. Аведьян1'2'3, Ле Тхи Чанг Линь1
1 Московский физико-технический институт (государственный университет) 2 Центр информационных технологий и систем органов исполнительной власти 3 Международный центр по информатике и электронике
Процедуры оптимального голосования в многоэкспертных бинарных системах
Рассматриваются два подхода для построения оптимальной многоэкспертной бинарной системы голосования. В первом случае решение достигается при известных значениях условных вероятностей принятия решений отдельными экспертами. Во втором случае оптимизация выполняется при неизвестных значениях условных вероятностей в режиме статистических испытаний. Оптимизация основывается на выборе оптимального числа экспертов, принимающих ту или иную гипотезу. Показано, что решение системы в режиме статистических испытаний асимптотически приближается к точному решению, когда известны значения условных вероятностей экспертов.
Ключевые слова: оптимальная многоэкспертная бинарная система голосования, условные вероятности принятия решений, статистические испытания, программы, Delphi.
E. D. Avedyan1'2'3, Le Thi Trang Linh1
1Moscow Institute of Physics and Technology (State University), Moscow, Russia 2 Federal State Autonomous Research Institution CIT&S, Moscow, Russia international Center of Informatics and Electronics, Moscow, Russia
Optimal voting procedures in multiexpert binary systems
Two approaches for constructing an optimal multiexpert binary voting system are considered. In the first case, the solution is obtained with known values of conditional probabilities of decision making by individual experts. In the second case, optimization is performed with unknown values of conditional probabilities in the statistical test mode. Optimization is based on the choice of the optimal number of experts accepting this or that hypothesis. It is shown that the solution of the system in the statistical tests mode asymptotically approaches the exact solution when the values of conditional probabilities of experts are known.
Key words: optimal multiexpert binary voting system, conditional probability, decision making, statistical test mode, program, Delphi.
1. Введение
Один из крупнейших ученых двадцатого века Джон фон Нейман, внесший важный вклад в физику, математику, экономику, архитектуру современных вычислительных машин, разработал статистический подход к решению задачи синтеза надежных устройств, состоящих из ненадежных функциональных бинарных элементов [1]. Вскоре после смерти Джона фон Неймана в трудах Принстонского университета была опубликована статья Клода Шеннона [2] о вкладе Джона фон Неймана в теорию автоматов, в частности, о создании надежных устройств из ненадежных элементов. Эти работы положили начало важному направлению в теории надежности систем и ее приложению во многих областях.
(с) Аведьян Э. Д., Ле Тхи Чанг Линь, 2017
(с) Федеральное государственное автономное образовательное учреждение высшего образования «Московский физико-технический институт (государственный университет)», 2017
Идеи Джона фон Неймана о повышении надежности систем в дальнейшем нашли свое воплощение в различных приложениях. Одним из таких приложений стала задача, классификации, в частности, задача распознавания рукописных цифр [3-6]. Для решения этой задачи существует большое число алгоритмов, основанных на различных теоретических подходах. Каждый из алгоритмов способен решить задачу классификации с точностью, которая может не удовлетворять требованиям решения задачи. Потребность повышения точности решения данной задачи привела к созданию систем классификации, содержащих несколько алгоритмов и интегральный блок - блок анализа решений каждого алгоритма, в задачу которого входит нахождение решения задачи с точностью, превышающей точность решения каждого из алгоритмов системы. Повышение точности решения задачи классификации двумерных образов в монографии [7, 8] достигается с помощью объединения решений трех алгоритмов, реализованных в виде трех двухслойных нейронных сетей. В этой работе объединение алгоритмов называется ассоциативной машиной, а каждый нейросетевой алгоритм - экспертом.
В обзорной статье [9] по состоянию исследований в данной области на 2009 год отмечается, что «объединение экспертов является классической стратегией, которая широко используется в решении различных задач». Отметим, что до сих пор нет устоявшегося названия для систем, в которых решение системы основывается на решениях, предлагаемых отдельными входящими в систему алгоритмами. Так, в цитированных выше работах, в статье [9] и в библиографических ссылках этой работы можно найти следующие англоязычные названия для систем подобного вида: combining classifiers (объединение классификаторов), ensemble learning (ансамблевое обучение), mixture of experts (смесь экспертов), multiple classifiers (множественные классификаторы), neural network ensembles (ансамбль нейронных сетей), ensemble classifiers (ансамбль классификаторов) и другие. Русскоязычных работ по данной проблеме немного, в них также наблюдается подобная картина. В работе [10] такие системы названы системами с привлечением, экспертов, а в работе [11] - гибридными системам,и. Объединяя приведенное выше, назовем данную систему многоэкспертной систем,ой, отдельные алгоритмы решения данной задачи - экспертами и далее будем пользоваться этими названиями.
Наиболее широкое применение идея интеграции решений отдельных экспертов нашла при создании систем обнаружения атак на информационные ресурсы, для которых проблема точности обнаружения атак стоит очень остро. Различные аспекты создания и функционирования подобных систем в части их структуры, состава экспертов, алгоритмов принятия решения экспертной системы, точности обнаружения атак можно найти в работах [10-20]. Обзор работ по проблемам многоэкспертных систем в задачах обнаружения атак приведен в статье [20], которая содержит список из 75-ти цитированных работ.
В работе [9] авторы выделяют две основные задачи, которые следует решать при создании многоэкспертной системы. 1. Какой тип экспертов и какое их количество необходимы для решения конкретной задачи? 2. Как объединить результаты решений отдельных экспертов, чтобы решение многоэкспертной системы было лучше, чем решения отдельных экспертов? Полного ответа на оба этих вопроса до сих пор нет. Обычно в роли отдельных экспертов выступают обучаемые системы, которые по мере получения новой информации повышают точность решения задачи. К подобным обучаемым системам относятся многослойная нейронная сеть, сеть радиальных базисных функций, карта Кохонена, машина опорных векторов, дерево логических решений и др. Для объединения решений отдельных экспертов разработано несколько подходов. Один из самых распространенных - метод голосования по большинству. Другими подходами являются взвешенное голосование, байесовское голосование, правило Демпстера-Шафера, краткое описание которых можно найти в обзорной статье [20].
Ответы на вопросы, поднятые в работе [9], даны в основном в экспериментальной форме, теоретических работ здесь немного. Отметим статьи, в которых исследуется процедура голосования по большинству [21, 22]. В статье [21] анализ многоэкспертных систем голо-
сования по большинству проводится при условии, что вероятности обнаружения каждого эксперта равны, и что эксперты статистически взаимно независимы. В статье [22] проведен анализ при условиях, что вероятности обнаружения каждого эксперта равны как при статистически независимых экспертах, так и при их взаимной зависимости. Здесь приводится биномиальная формула вероятности правильного обнаружения при использовании процедуры голосования по большинству при равной вероятности обнаружения каждого эксперта и их статистической независимости. Отметим также статью [23], в которой при построении оптимальной многоэкспертной системы вводится линейная функция потерь.
Целью настоящей статьи является оптимизация многоэкспертной бинарной системы (МЭБС) голосования как при равной, так и при различной вероятности обнаружения каждого статистически взаимно независимого и зависимого эксперта. В МЭБС значения входных и выходных сигналов как экспертов, так и самой системы принимают только два значения, например, 0 и 1.
2. Многоэкспертная бинарная система голосования по большинству при равных значениях условных вероятностей принятия гипотезы каждого статистически взаимно независимого эксперта
Пусть имеются N статистически независимых экспертов, на входы которых поступает сигнал х, принимающий два возможных значения, например, 0 и 1. Каждый г-й эксперт в соответствии с присущим ему статистическим критерием fi(x) = у i проверяет статистические гипотезы Но ш Н\, где гипотеза Но означает, что входной сигнал имеет значение х = 0, а гипотеза Н\ - значение х = 1, и принимает решение о значении входного сигнала ж. Точность принятия решения каждого г-го эксперта о значении входного сигнала характеризуется условными вероятностями: pi(0/0) - условная вероятность принять правильное решение о том, что входной сигнал равен 0 при условии, что значение входного сигнала равно 0, и pi(1/1) - условная вероятность принять правильное решение о том, что входной сигнал равен 1 при условии, что значение входного сигнала равно 1. Величины qí(1/0) = 1 — pí(0/0) и qí(0/1) = 1 — pí(1/1) характеризуют условные вероятности неправильного принятия решения экспертом, а именно: Qí(1/0) - условная вероятность того, что эксперт i принял гипотезу Н\ (вероятность ошибки первого рода), тогда как входной сигнал равнялся 0, a (0/1) - условная вероятность того, что эксперт г принял гипотезу Но, тогда как входной сигнал равнялся 1 (вероятность ошибки второго рода). В настоящей работе, как это принято в математической статистике, гипотеза Но соответствует наиболее вероятному событию (нормальное сетевое соединение, исследуемый человек здоров и т.д.), а гипотеза Н\ соответствует альтернативным событиям (ненормальное сетевое соединение, например, сетевая атака, исследуемый человек болен и т.д.). Поэтому условную вероятность ошибки первого рода qi(1/0) будем называть вероятностью ложной тревоги, а условную вероятность ошибки второго рода Qí(0/1) будем называть вероятностью пропуска события. Решения каждого эксперта у i, i = 1, N в виде Ж-мерного вект opa Y поступают на верхний уровень МЭБС, в котором также имеется статистический критерий f (Y) = z, проверяющий статистические гипотезы Но и Н\.
В данном параграфе статистический критерий f (Y) = z - процедура голосования по большинству, кроме того предполагается, что все эксперты статистически независимы и обладают равной квалификацией, т.е. условные вероятности принятия правильных решений и условные вероятности ошибок не зависят от номера эксперта: Pi(0/0) = р(0/0), Qi(1/0) = q(1/0), i = 1;Ñ, Pi(1/1)= p(1/1), Qi(0/1) = q(0/1),i = T;Ñ.
В случае, когда число экспертов нечетно, в соответствии с этой процедурой из двух статистических гипотез принимается та, которую приняли более половины экспертов. Так, если число экспертов 3, то гипотеза принимается, если ее приняли или 2, или 3 эксперта. Если число экспертов 5, то гипотеза принимается, если ее приняли или 3, или 4, или 5 экспертов. В случае, когда число экспертов четно, то одна из гипотез принимается, если ее приняли более половины экспертов, а альтернативная гипотеза принимается, если ее
приняли или более половины экспертов или ровно половина экспертов. Например, если число экспертов 2, то одна из гипотез принимается, если ее приняли 2 эксперта, а вторая гипотеза принимается, если ее принял или один или оба эксперта. Для случая 4 экспертов: для одной альтернативы необходимо, чтобы ее приняли или 4, или 3, или 2 эксперта, а для альтернативной - или 4, или 3 эксперта. Причина влияния четности и нечетности числа экспертов на вычисление вероятности принятия правильного решения МЭБС поясняется ниже в разделах 2.1 и 2.2.
2.1. Вероятности принятия правильного решения в МЭБС при нечетном числе экспертов
Введем следующие обозначения: pexpsys(0/0), Pexpsys(1/1), qexpsys(1/0), qexpsys(0/1) -условные вероятности принять правильные решения и вероятности ошибок МЭБС. В [22] приведена биномиальная формула для расчета указанных вероятностей, в соответствии с которой условные вероятности МЭБС для рассматриваемого случая имеют вид
(N-1)/2
PexPsys(0/0) = £ CkNpN—k (0/0)qk (1/0), (1)
k=0 (N—1)/2
Pexpsys(1/1)= Y, CN'PN—к (1/1)VN (0/1), (2)
k=0
Qexpsys (1/0) — 1 Pexpsys(0/0), Qexpsys (0/1) — 1 Pexpsys(1/1)
где CN - число сочетайий из N по к: CN — N(N —1^"k!;N—k+1), C°n — CN — 1.
Формулы (1) и (2) следуют из того факта, что условная вероятность того, что N — к экспертов равной квалификации, общее число которых равно N, приняли одну из гипотез, например Н0, а к экспертов ее отвергли, равна Pkxpsys(0/0) — Cnpn—k(0/0)qk(1/0). Это выражение представляет собою произведение вероятности наступления элементарного события (принятие конкретными (N — к) независимыми экспертами гипотезы Но и отказ от этой гипотезы остальными к экспертами), которое наступает с вероятностью pN—k(0/0)qk(1/0), на число элементарных событий, равное Отметим, что поскольку p/kxpsys(0/0) является k-м членом биномиального разложения:
(р(0/0)+ q(1/0))N —
— pN (0/0) + ClNpN —1(0/0)q(1/0) + C2NpN—2(0/0)q2(1/0) + ... + qN (1/0) — 1, (3)
то p/kxpSyS(0/0) определяет распределение случайной величины Но в функции к и поэтому называется биномиальным распределением [24].
Назовем событием M принятие ровно к экспертами гипотезы Но- Поскольку различных событий M, принятие N—к экспертами гипотезы Но и отказ от этой гипотезы остальными к экспертами равно Nто в случае нечетного N возможно, что больше половины экспертов примут одну из гипотез. Подтверждением этому тезису служит табл. 1, где приведены все 4 возможные события M для 3 экспертов.
Таблица 1
Возможные решения трех бинарных экспертов
к — 0 к — 1 к = 2 к — 3
Эксперт 1 0 0 0 1 1 1 0 1
Эксперт 2 0 0 1 0 1 0 1 1
Эксперт 3 0 1 0 0 0 1 1 1
Нулевой гипотезе Но в процедуре голосования по большинству соответствуют решения экспертов в столбцах к = 0 и к = 1. Число экспертов, принимающих гипотезу Но, равно 2 или 3, что больше половины экспертов. Легко видеть, что вероятность правильного решения МЭБС принятия гипотезы Но равна рехрзуз(0 / 0) = р3(0/0) + 3р2(0/0)д1(1/0), что полностью согласуется с (1). Альтернативной гипотезе Н\ соответствуют решения экспертов в столбцах к = 2 и к = 3. Здесь тоже принимают решения 2 или 3 эксперта, так что в этом случае Рехрвув(1/1) = р3(1/1) + 3р2(1/1)д1 (0/1). Формулы (1) и (2) позволяют провести анализ влияния количества экспертов на точность решения вероятности правильного решения МЭБС. Поскольку формулы (1) и (2) имеют одинаковую структуру для нечетного то проведем анализ только для Рехрзув(0/0).
Рис. 1
На рис. 1 представлены зависимости вероятностей правильного решения МЭБС (ЕхреНБувЬРгЬ) от условной вероятности правильного решения эксперта (ЕхреНРгЬ) при равной квалификации каждого эксперта для разных значений нечетного числа статистически независимых экспертов, рассчитанные по формуле (1). Числа на кривых означают число экспертов системы. Из рис. 1 следует
1. Если условная вероятность правильного решения эксперта такой системы р(0/0) > 0.5, то найдется такое число экспертов, что вероятности Рехрвув (0/0) правильного решения МЭБС окажется как угодно близкой к 1.
2. Если вероятность правильного решения эксперта р(0/0) < 0.5, то с увеличением числа экспертов результирующая вероятность рехрзуз(0/0) правильного решения МЭБС стремится к нулю.
3. Если вероятность правильного решения эксперта р(0/0) = 0.5, то вероятность Рехрвуз(0/0) = 0.5 независимо от числа экспертов.
4. Представленные на рис. 1 зависимости позволяют определить вероятности Рехрвуз(0/0), Рехрзуз(1 /1) правильного решения МЭБС для процедуры голосования по большинству в зависимость от вероятностей правильного решения экспертов р(0/0) и р(1/1) при заданном нечетном числе экспертов. В табл. 2 в качестве примера приведены значения вероятностей правильного решения МЭБС для 6 значений числа экспертов при значениях условных вероятностей правильного решения экспертов р(0/0) = 0.6^ и р(1/1) = 0.71, которым на рис. 1 соответствуют вертикальные пунктирные линии.
Таблица2
Зависимости вероятностей рехр8у3 (0/0) И Рехрвув (1/1) правильного решения
от числа экспертов МЭБС
N = 1 N = 3 N = 5 N = 23 N = 47 N = 95 N = 191
р(0/0)=0.63 0.63 0.69061 0.73299 0.90021 0.96588 0.99514 0.99987
р(1/1)=0.71 0.71 0.79648 0.84990 0.98367 0.99880 0.99999 1.00000
2.2. Вероятности принятия правильного решения в МЭБС при четном числе экспертов
Вычисление вероятностей Рехрзув(0/0) и Рехрзув(1/1) ^ случае четного числа экспертов непосредственно по формулам (1) и (2) теперь оказывается невозможным. Справедливость этого утверждения следует из рассмотрения табл. 3, где приведены все 5 возможных решений для 4 экспертов.
ТаблицаЗ
Возможные решения четырех бинарных экспертов
к = 0 к 1 к 2 к 3 к = 4
Э1 0 0 0 0 1 0 0 0 1 1 1 1 1 1 0 1
Э2 0 0 0 1 0 0 1 1 0 0 1 1 1 0 1 1
ЭЗ 0 0 1 0 0 1 0 1 0 1 0 1 0 1 1 1
Э4 0 1 0 0 0 1 1 0 1 0 0 0 1 1 1 1
Если следовать формулам (1) и (2), то надо исходить из условия, что каждую гипотезу приняли более половины экспертов, т.е. при 4 экспертах гипотезу приняли или 3 или 4 эксперта. В табл. 3 этим случаям соответствуют столбцы к = 0,1, 3, 4. При этом из расчета вероятностей выпадает элементарное событие, когда гипотезы Но ж Н\ принимают ровно половина экспертов, т.е. случай к = 2. Поэтому при расчете вероятностей Рехрвуз(0/0) и Рехрвув (1/1) вероятность наступления элементарного события при к = 2 следует отнести к одной из гипотез по правилам, которые будут сформулированы в последующих разделах. Для четного числа экспертов формулы (1) и (2) могут быть записаны либо в виде
N/2 N/2-1
Рехрзуз(0/0) = £ Скмрм-к(0/0)Чк(1/0),р„(1/1) = £ Скырм-к(1/1)Чк(0/1), (4) к=0 к=0
либо
N/2-1 N/2
Рехрзуз(0/0) = £ Скмрм-к(0/0)дк(1/0), РехрзУз(1/1) = £Скрм-к(1/1)дк(0/1). (5) к=0 к=0
На рис. 2 и рис. 3 представлены зависимости вероятностей ЕхреНБувЬРгЬ правильного решения МЭБС от условной вероятности правильного решения эксперта ЕхреНРгЬ при равной квалификации каждого эксперта для разных значений четного числа статистически независимых экспертов, рассчитанные по первой и второй формуле (4) соответственно. Числовые значения вероятностей правильного решения МЭБС при четном числе экспертов, соответствующие рис. 2 и рис. 3, представлены в табл. 4 и табл. 5 при вероятностях правильного решения статистически независимых экспертов р(0/0) = 0.63, р(0/0) = 0.71 и р(1/1) = 0.63, р(1/1) = 0.71 соответственно.
Рис. 2 Рис. 3
Т а б .л и ц а 4
Зависимости вероятностей рехр8у3 (0/0) И Рехрзуз (1/1) правильного решения МЭБС от четного числа экспертов N
N = 2 N = 4 N = 6 N = 24 N = 48 N = 96 N = 192
р(0/0)=0.63 0.86310 0.85361 0.85964 0.93500 0.97656 0.99655 0.99991
р(0/0)=0.71 0.91590 0.92366 0.93719 0.99152 0.99935 1.00000 1.00000
р(1/1)=0.63 0.39690 0.52760 0.60633 0.86541 0.95521 0.99373 0.99984
р(1/1)=0.71 0.50410 0.66929 0.76260 0.97582 0.99826 0.99999 1.00000
Из сравнения рис. 2 и 3 следуют важные выводы и вопросы.
1. Влияние вероятности наступления элементарного события, когда гипотезы Но и Н\ принимают ровно половина экспертов, на вероятности правильного решения МЭБС рехрзУз(0/0) и резрзУз(1/1) весьма велико. Им можно пренебречь при низкой квалификации экспертов только тогда, когда число экспертов более сотни.
2. Это влияние наиболее сильно прослеживается при небольшом числе экспертов.
3. Какими формулами пользоваться: (4) или (5)?
Ответ на последний вопрос может дать следующий простой пример расчета вероятностей правильного решения МЭБС, состоящей из 2 экспертов одинаковой квалификации, условные вероятности принятия правильных решений которых равны р(0/0) = 0.97 и р(1/1) = 0.70. Выражения для расчета вероятностей в этом случае в соответствии с формулами (4) имеют вид (А): Рехрзуз(0/0) = р2(0/0) + 2р(0/0)д(1/0),рехрзуз(1/1) = р2(1/1), а согласно (5) (Б): Рехрзуз(0/0) = р2(0/0), реХрзуз(1/1) = Р2(1/1) + 2р(1/1)д(0/1). В случае (А) вероятности правильного решения МЭБС при N = 2 оказываются равными Рехрзуз(0/0) = 0.999^ и Рехрзуз(1/1) = 0.49, а в случае (Б) - Рехрзуз(0/0) = 0.9409 и рехрзуз(1/1) = 0.91. Если для системы наиболее важным является точность принятия гипотезы Но, то следует выбрать (А), в противном случае - (Б). Следовательно, для того чтобы пользоваться соотношениями (4), (5), должен быть критерий, позволяющий выбрать алгоритм правильного принятия решений МЭБС. В литературе, например [23, 25], таким критерием часто является линейная комбинация вероятностей ошибок первого и второго рода: дехрзуз(1/0) и дехрзуз(0/1), вероятностей принятия правильного решения: рехрауз(0/0) и рехрзув(1/1) или комбинация вероятностей ошибок и вероятностей правильного решения.
В настоящей работе в качестве критерия оптимальности МЭБС принята линейная комбинация вероятностей ее правильного решения:
3(а) = арехрзуз(0/0) + (1 - а)рехрзуз(1/1), 0 < а < 1, (6)
где а - весовой коэффициент, характеризующий предпочтение относительно принятия гипотез правильного решения системы.
Задача синтеза оптимальной системы - нахождение таких параметров системы, при которых функционал (6) достигает наибольшего значения. Например, если в рассмотренном выше примере значение параметра а = 0.9 (предпочтение отдается Припятию гипотезы Но), то функционал для случая (А) равен 3(0.9) = 0.94891 а для случая (Б) - 3(0.9) = 0.93781. Поэтому в такой системе будет реализован алгоритм голосования, когда гипотеза Но принимается, если за нее голосуют или 1 или 2 эксперта, а гипотеза Н\ - если за нее голосуют 2 эксперта. Если же а = 0.5 (обе гипотезы Но и Н\ равноправны), то функционал для случая (А) равен 3(0.5) = 0.74455, а для (Б) - 3(0.5) = 0.92545. В этом случае алгоритм голосования системы имеет следующий вид: гипотеза Но принимается, если за нее голосуют 2 эксперта, а гипотеза Н\ - если за нее голосуют или 1 или 2 эксперта.
3. Оптимальная МЭБС голосования при равных значениях условных вероятностей принятия гипотез Но и Нх каждого статистически взаимно независимого эксперта
Из предыдущего раздела 2.2 следует важный вывод, что совсем необязательно, чтобы в МЭБС сохранялся принцип голосования по большинству, когда каждую гипотезу должны принять более половины экспертов.
Рассмотрим частный случай, когда МЭБС состоит из 7 статистически взаимно независимых экспертов равной квалификации: р(0/0) = 0.98, р(1/1) = 0.6. В соответствии с разделом 2.1 условные вероятности правильного принятия решений системой голосования по большинству, формулы (1), (2), оказываются равными рехрзуз(0/0) = 0.99999, Рехрзуз(1/1) = 0.71021. Такая система очень хорошо обнаруживает нормальные события, а аномальные - некачественно. Имеет место большое число пропусков событий (например, атак). Заметим здесь, что за гипотезы Но и Н\ голосовало более половины экспертов: 4, 5, 6 и 7 экспертов голосовали за соответствующие гипотезы.
Теперь рассмотрим следующую процедуру голосования: гипотеза Но принимается, если ее приняли все 7 экспертов, а гипотеза Н\ принимается, если ее принял хотя бы один эксперт. В соответствии с формулой (3) вероятности правильного принятия решений системой с таким способом голосования оказываются равными
Рехрзуз(0/0) = 0.987 = 0.86813, Рехрзуз(1/1) = 1 — (1 - 0.6)7 = 0.99836.
Несколько видоизменим процедуру голосования в рассматриваемом примере: гипотеза Но принимается, если ее приняли ми 7 или 6 экспертов, а гипотеза Н\ принимается, если ее приняли более одного эксперта. В этом случае вероятности правильного принятия решений системой с измененной системой голосования согласно (3) оказываются равными РехРзуз(0/0) = 0.99214 а рехрауа(1/1) = 0.98116.
В общем случае, когда система состоит из N экспертов, можно говорить о различных процедурах голосования, когда гипотезу Но принимают более (п — 1) экспертов, п = а гипотезу ^принимают более (К — п) экспертов. В этом случае, как вероятности правильного решения системы:
N—п п—1
Р^рзуз(0/0) = £ Скмрм—к(0/0)дк(1/0), р^++1)(1/1) = £Скмрм—к(1/1)дк(0/1),п = к=о к=о
(7)
так и функционал (6), характеризующий свойство МЭБС, оказываются функциями числа п. Значение числа п = п^, при котором функционал (6) достигает своего максимального значения, определяет оптимальную процедуру голосования:
ПорЬ = &щт&х(ар(£1зуз(0/0) + (1 — аЫ^^ЩЦ, 0 < а < 1),п = Т^Й. (8)
В качестве примера в табл. 5 показаны результаты 7 вариантов различных процедур голосования в системе, состоящей из 7 независимых экспертов. Здесь приведены условные вероятности правильного принятия решений системой (2 и 3 строки таблицы) и соответствующие значения функционала при трех значениях параметра а (4, 5 и 6 строки). Оптимальные значения функционала выделены серым цветом. Отметим, что данные, приведенные в столбце п = 4, соответствуют данным системы голосования по большинству и существенно отличаются в худшую сторону от оптимальных значений функционала (6).
Т а б л и ц а 5
Значения условных вероятностей реУР8У8(0/0) и р^х—у^^^/1) правильного решения МЭБС и соответствующих функционалов для п = 1, 7 при условных вероятностях правильного решения статистически независимых семи экспертов Рг(0/0) = 0.9^ И Рг(1/1) = 0.6
п = 7 п = 6 п = 5 п = 4 п = 3 п = 2 п = 1
Рехр ву в (0/0) 0.86813 0.99214 0.99974 0.99999 1.00000 1.00000 1.00000
Рехр ву в (1/11) 0.99836 0.98116 0.90374 0.71021 0.41990 0.15863 0.02799
3 (а = 0.5) 0.93324 0.98665 0.95174 0.85510 0.70995 0.57932 0.51400
3 (а = 0.9) 0.88115 0.99104 0.99014 0.97101 0.94199 0.91586 0.90280
3 (а = 0.1) 0.98534 0.98226 0.91334 0.73919 0.47791 0.24277 0.12519
4. Оптимальная МЭБС голосования при неравных значениях условных вероятностей принятия гипотез Н0 и Нх каждого статистически взаимно независимого эксперта
Рассмотрим общий случай при неравных значениях условных вероятностей, когда рг(0/0) = р(0/0) ; рг(1/1) = р(1/1),г = *
Можно показать, что формулы (7) в этом случае принимают вид
N С^
¿^(0/0) = П Рг (0/0) + £ рч (0/0)рг2 (0/0)...ргм - (0/0)дгм (1/0) + ...
г=1
^М-п
... + £ рч (0/0)рг2(0/0)...Рг„-п(0/0)ды-п+1 (1/0)ды-п+2(1/0)...ды(1/0), (9)
N С'1
Р^ехрзуз~ 1](1/1) = П&(1/1) + Е (1/1)^2 (1/1)...Ргк-1 (1/1)Чгк (0/1) + ...
=1
... + Е Ры(1/1)Ръ(1/1)...Р*п-1 (1/1)4^(1/0)ягп+1 (0/1)...дгм(0/1). (10)
В формулах (9), (10) значения индексов г^ ] = не совпадают. Первое слагаемые в (9), (10) определяет вероятность того, что гипотезы Но и ^принимают р овно N экспертов, вторые, состоящее в свою очередь из С^ слагаемых, - (М — 1) экспертов и т.д.
Ниже приведены результаты расчета оптимальной МЭБС голосования при 7 экспертах, вероятности правильного принятия гипотез которых рг(0/0),р^1/1),1 = 1, 7 представлены в табл. 6.
Результаты расчета условных вероятностей правильного принятия гипотез системой для экспертов разной квалификации (табл. 6) по формулам (9), (10) и значения соответствующих функционалов приведены в табл. 7, которая по структуре аналогична табл. 5 для экспертов равной квалификации.
Т а б .л и ц а 6
Значения условных вероятностей правильного решения семи экспертов
г = 1 г = 2 г = 3 г = 4 г = 5 г = 6 г = 7
Рг(0/0) 0.99 0.98 0.97 0.96 0.95 0.94 0.93
Рг(1/1) 0.69 0.68 0.67 0.66 0.65 0.64 0.63
Т а б .л и ц а 7
Значения условных вероятностей правильного решения системы для экспертов разной квалификации (табл. 6) и значения соответствующих функционалов
п = 7 п = 6 п = 5 п = 4 п = 3 п = 2 п = 1
Рехрзуз (0/0) 0.75031 0.97152 0.99824 0.99994 1.00000 1.00000 1.00000
Рехрвув (1/1) 0.99948 0.99239 0.95095 0.81653 0.55527 0.25099 0.05438
3 (а = 0.5) 0.87490 0.98196 0.97460 0.90824 0.77764 0.62550 0.52719
3 (а = 0.9) 0.77523 0.97316 0.99351 0.98160 0.95553 0.92510 0.90544
3 (а = 0.1) 0.97456 0.99030 0.95568 0.83487 0.59974 0.32589 0.14894
Отмстим интересный факт, что система, состоящая из 7 экспертов равной квалификации, у которых условные вероятности правильного решения равны средним значениям соответствующих условных вероятностей экспертов разной квалификации, (см. табл. 6): Рг(0/0) = 0.9^ и рг(1/1) = 0.66, г = 1, 7, очень близка по свойствам системе с экспертами разной квалификации, характеристики которой представлены в табл. 8. Отличие в соответствующих условных вероятностях в третьем или четвертом знаке после запятой. Это замечание подсказывает подход к предварительной оценке параметров оптимальной системы, когда известны условные вероятности правильного решения экспертов разной квалификации.
Т а б л и ц а 8
Значения условных вероятностей правильного решения системы для
экспертов равной квалификации рх(0/0) = 0.9^ и рг(1/1) = 0.66, г = 1, 7
П = 7 п = 6 п = 5 п = 4 п = 3 п = 2 п = 1
Рехрвув (0/0) 0.75145 0.97062 0.99802 0.99992 1.00000 1.00000 1.00000
Рехрвув (1/11) 0.99947 0.99234 0.95078 0.81631 0.55528 0.25127 0.05455
5. Оптимальная МЭБС голосования при неравных значениях условных вероятностей принятия гипотез Н0 и Нх каждого статистически взаимно зависимого эксперта на основе статистических испытаний
Расчет оптимальной МЭБС для экспертов разной квалификации по формулам (9), (10) представляется довольно громоздкой процедурой даже в предположении, что условные вероятности рг(0/0), рг(1/1), г = 1,М, предварительно известны. Задача существенно усложняется, когда эксперты являются статистически зависимыми. В этом случае, если даже удается построить совместные плотности распределений правильных решений экспертов, их применение для расчета условных вероятностей типа (7) вряд ли даст аналитические решения.
Путь статистических испытаний МЭБС позволяет обойти проблему статистической зависимости экспертов разной квалификации, поскольку здесь исключается необходимость построения и использования оценок совместной плотности распределений правильных ре-
шсний экспертов и их последующего применения для выполнения аналитических расчетов. Кратко он заключается в следующем.
На вход МЭБС или ее модели подается случайная последовательность X(т), т - номер шага последовательности. Входная последовательность, состоящая из нулей и единиц, поступает на входы всех экспертов системы (рис. 4). Значения вероятностей правильных решений экспертов априори не известны. Неизвестно также, имеются ли статистические связи между отдельными экспертами.
i | Выход 1 >HIV> Выход }*2t(w) L Выход r'U) Выход L
Блок анализа входов и выходов экспертов и расчета оптимальной страта ии МЭБС
i i , 1 1 J L
(0,1) (0,1) (0,1) (0.1)
Эксперт 1 Эксперт 2 Эксперт ■ 3 • * Эксперт N
L L
i— - 1- , L - -
ВходЛ(т), (0,1)
Рис. 4. Структурная схема МЭБС в режиме статистических испытаний
Значения входа в МЭБС и выходов экспертов поступают в блок анализа, который на основании этих данных вычисляет оценки условных вероятностей правильных решений экспертов f>i(0/0), pi(1/1), i = 1, N, и оценки вероятностей того, что гипотезу Но и Н\ принимают более (п — 1) экспертов: í)¿!t)psys(0/0) и р^р sy s(1/1)- В блоке анализа МЭБС заложено значение параметра a функционала (6) для нахождения номера оптимального выхода Y (п)(т):
nopt = argm^x(aí)(¿sy s(0/0) + (1 — a)p{^—fl)(1/1), 0 < a < 1),n = 1,Ñ. (11)
Для вычисление оценок вероятностей правильных решений экспертов вводятся переменные: М0(т), М 1(т) - число нулей и единиц во входной последовательности длиной т, соответственно, и М0i(m),M 1i(m),i = 1,N, - число правильных решений экспертов относительно гипотез Но и Н\, принятых экспертами. Если на следующем (т, + 1)-м шаге испытаний входная последовательность принимает значение X(т + 1) = 0, то переменная М0(т) увеличивается на единицу и на единицу увеличиваются те значения переменных М0i(m), i-e эксперты которых дали правильное решение, равное 0. Аналогичная процедура выполняется, если входная переменная принимает значение X(т + 1) = 1. Оценки условных вероятностей правильных решений экспертов вычисляются по формулам:
Pí(0/0) = М0г(т)/М0(т), Pi(1/1) = М 1г(т)/М 1(т), i = 1,Ñ. (12)
Оценки (12) могут служить для оптимизации МЭБС, связанной с исключением экспертов низкой квалификации из состава МБЭС.
Для расчета условных вероятностей Рехрвув(0/0^ и Рехрзуз(1/1) необходимых для нахождения оптимальной МЭБС, вводятся переменные МО^рвив(ш), М (т), ъ =1 пересчет которых ведется по следующему правилу: если на следующем (т + 1)-м шаге испытаний входная последовательность принимает значение X(т + 1) = 0, то определяется число экспертов Ь0, которые дали правильное решение, равное 0. Далее часть значений переменных МО^Хсрвуз(ш) с номерам п = 1, Ь0 увеличивается на единицу: М0£Хрзуз(т) = М0^р зУз(т) + 1, п = 1, Ь0. Значения всех переменных М1 ^£р8уз(т),п = 1, N, в этом случае остаются без изменения. Если входная переменная принимает значение X(т + 1) = 1, то определяется число экспертов Ы, которые дали правильное решение, равное 1. Часть значений переменных М1 ^¿ХХрзуз(ш) увеличивается на единицу: М1 ^¿ХХРвув(т) = М1 ^£р)зуз(т) + 1, п = 1, Ы. всех переменных М0^Хрзуз(т),п = 1, Ж, в этом случае остаются без изменения. Оценки условных вероятностей р^Хрзуз(0/0), Рехрзуз(1/1) того, что гипотезу Но ми Н\ принимают более (п — 1) экспертов, теперь вычисляются по формулам:
Р,
eXpsys(0/0) = М0<£)psys(rn)/M0(т), p<£)psys(1/1) = МlQ,8y8(m)/M 1(т),п = 1,N, (13)
которые являются основой для синтеза оптимальной МЭБС. Точность оценок (13) и, следовательно, точность нахождения оптимальной МЭБС в режиме статистических испытаний существенно зависит от числа шагов входной последовательности X(т) и от отношения нулей и единиц в этой последовательности.
Для оценки точности оценок условных вероятностей Pexpsys(0/0) и Pexpsys(1/1) в среде визуального программирования Delphi разработаны программы, реализующие МЭБС для случая, когда известны вероятности независимых экспертов (пп. 3, 4), а также и для режима статистических испытаний (п. 5). Результаты статистических испытаний приведены в табл. 9.
ТаблицаЭ
Значения условных вероятностей правильного решения системы и их оценок для разного числа шагов входной последовательности
n = 7 n = 6 n = 5 n = 4 n = 3 n = 2 n = 1
Pexpsy s (0/0) 0.75031 0.97152 0.99824 0.99994 1.00000 1.00000 1.00000
Pexp sys (1/1) 0.99948 0.99239 0.95095 0.81653 0.55527 0.25099 0.05438
Nstep = 1000000, Nstep0 = 899863, Nstep1 = 100137
Pexpsy s (0/0) 0.75069 0.97162 0.99826 0.99993 1.00000 1.00000 1.00000
Pexp sys (1/1) 0.99973 0.99201 0.94996 0.81544 0.55576 0.25036 0.05488
Nstep = 100000, Nstep0 = 89962, Nstep1 = 10038
Pexpsy s (0/0) 0.75415 0.97210 0.99828 0.99998 1.00000 1.00000 1.00000
Pexp sys (1/1) 0.99960 0.99163 0.95059 0.81759 0.55180 0.25005 0.05539
Nstep = 10000, Nstep0 = 9013, Nstep1 = 987
Pexpsy s (0/0) 0.75069 0.97137 0.99778 1.00000 1.00000 1.00000 1.00000
Pexp sys (1/1) 1.00000 0.98886 0.94529 0.81459 0.56322 0.24012 0.06079
Nstep = 1000, Nstep0 = 896, Nstep1 = 104
Pexpsy s (0/0) 0.76674 0.96875 1.00000 1.00000 1.00000 1.00000 1.00000
Pexp sys (1/1) 1.00000 0.98077 0.95192 0.78846 0.55769 0.24038 0.08654
Nstep = 100, Nstep0 = 82, Nstep1 = 18
Pexpsy s (0/0) 0.71951 0.93902 0.98780 1.00000 1.00000 1.00000 1.00000
Pexp sys (1/1) 1.00000 1.00000 1.00000 0.83333 0.55556 0.22222 0.05556
В табл. 9 во второй и третьей строках приведены точные значения условных вероятностей P^psysio/o) и pixp'sy+Hl/l), а в последующих - их оценки p^Psys(0/0) и jfexpsy+11 (1 /1) для пяти значений числа шагов Nstep = 10г, i = 2, 6, входной последовательности X(т), полученные программой для режима статистических испытаний системы из 7 статистически независимых экспертов, вероятностные характеристики которой приведены в п. 4, табл. 6, а расчетные значения условных вероятностей - в табл. 7. Рядом с числом шагов Nstep приведены число пулей NstepO и единиц Nstepl входной последовательности. Входом МЭБС является последовательность независимых чисел 0 и 1, вероятность р(Х(т) = 0) = 0.9, р(Х (т) = 1) = 0.1.
Таблица 9 отражает увеличение точности оценок условных вероятностей правильного решения МЭБС при увеличении числа шагов входной последовательности. Отметим, что оценки p^orpsy¿¡(0/0) в среднем точнее оценок pixpsy+^il/1), поскольку чисел 0 в каждой входной последовательности почти на порядок выше числа 1. Отметим также, что уже при числе шагов входной последовательности Nstep =10000 в рассматриваемом случае достигается достаточно высокая точность оцениваемых вероятностей, которая позволяет правильно определить оптимальную структуру МЭБС.
6. Заключение
Предложенные в статье два подхода для создания оптимальной многоэкспертной бинарной системы голосования могут быть реализованы в зависимости от той информации и тех условий, которые имеются у разработчика системы. В первом случае необходимым условием является наличие информации об условных вероятностях экспертов системы и их взаимная статистическая независимость. Во втором случае - наличие МЭБС или ее модели, которые допускают процедуру статистических испытаний по алгоритмам, описанным в п. 5 статьи.
Оба подхода позволяют решить задачу формирования состава экспертов из условия оптимальности МЭБС. Эта задача представляется предметом последующих исследований.
Литература
1. John von Neumann. Probabilistic logics and the synthesis of reliable organisms from unreliable components // Automata Studies, Princeton University Press. 1956. P. 43-98.
2. Shannon C.E. Von Neumann's contributions to automata theory // Bull. Amer. Math. Soc. 1958. V. 64, N 3, Part 2. P. 123-129.
3. Suen C.Y., Nadal C., Mai T.A., Legault R., Lam L. Recognition of totally unconstrained handwritten numerals based on the concept of multiple experts // Proc. Int. Workshop «Frontiers in Handwriting Recognition». 1990. P. 131-143.
4. Hull J.J., Commike A., and Ho Т.К. Multiple algorithms for handwritten character recognition // Proc. Int. Workshop «Frontiers in Handwriting Recognition». 1990. P. 117— 124.
5. Ho Т.К., Hull J. J., and Srihari S.N. Combination of structural classifiers // Proc. 1990 IAPR Workshop Syntactic and Structural Pattern Recognition. 1990. P. 123-137.
6. Xu L., Krzyzak A., and Suen Ch.Y. Methods of combining multiple classifiers and their applications to handwriting recognition // IEEE Transactions on Systems, Man, and Cybernetics. 1992. V. 22, N 3. P. 418-435.
7. Haykin S. Neural Networks: A Comprehensive Foundation. NY.: Macmillan College Publishing, 1994.
8. Xafixun С. Нейронные сети. Полный курс. М.-СПб.-Киев: Вильяме, 2006.
9. Xu L., Amari Shun-ichi. Combining classifiers and learning mixture-of-experts // Encyclopedia of Artificial Intelligence. 2009. P. 319-326.
10. Ефимов Б.И., Файзуллип Р. Т. Устойчивость объективного решения экспертов при воздействии угроз по блокированию информации в системах принятия решений с привлечением экспертов // Доклады ТУСУРа. 2013. № 1(27). С. 69-77.
11. Браницкий А.А., Котенке И.В. Обнаружение сетевых атак на основе комплексиро-вания нейронных, иммунных и нейронечетких классификаторов // Информационно-управляющие системы. 2015. № 4. С. 69-77.
12. Gu G., Cardenas A.A., Lee W. Principled reasoning and practical applications of alert fusion in intrusion detection systems // Proceedings of the 2008 ACM symposium on Information, computer and communications security. 2008. P. 136-147.
13. Panda M., Patra M.R. Ensemble voting system for anomaly based network intrusion detection // International Journal of Recent Trends in Engineering and Technology. 2009. V. 2, N 5. P. 8-13.
14. Wang G., Hao J., Ma J., Huang L. A new approach to intrusion detection using artificial neural networks and fuzzy clustering // Expert Systems with Applications. 2010. V. 37, I. 9. P. 6225-6232.
15. Zhao H. Intrusion detection ensemble algorithm based on bagging and neighborhood rough set // International Journal of Security and Its Applications. 2013. V. 7, N 5. P. 193-204.
16. Peters Ch.A. Intrusion and fraud detection using multiple machine learning algorithms // A thesis submitted to the faculty of graduate studies of the University of Manitoba, 2013.
17. Chaurasia Sh., Jain A. Ensemble Neural Network and K-NN Classifiers for intrusion detection // International Journal of Computer Science and Information Technologies. 2014. V. 5. P. 2481-2485.
18. Benqdara S., Ngadi A., Sharif J.M., Ali S. Ensemble of clustering algorithms for anomaly intrusion detection system // Journal of Theoretical and Applied Information Technology. 2014. V. 70, N 3. P. 425-431.
19. Hock D., Kappes M. A self-learning network anomaly detection system using majority voting // Proceedings of 10th International Network Conference. 2014. P. 59-69.
20. Aburomman A.A., Reaz M.BJ. A survey of intrusion detection systems based on ensemble and hybrid classifiers // Computers k, Security. 2016. P. 1-45.
21. Kittler J., Alkoot F.M. Sum versus vote fusion in multiple classifier systems // IEEE Transactions on Pattern Analysis and Machine Intelligence. 2003. V. 25, N 1. P. 110-115.
22. Kuncheva L.I., Whitaker C.J., Shipp C.A. Limits on the majority vote accuracy in classier fusion // Pattern Analysis and Applications. 2003. V. 6. P. 22-31.
23. Lam L. and Suen C. Y. Optimal combination of pattern classifiers // Pattern Recognition Letters. 1995. V. 16. P. 945-954.
24. Феллер В. Введение в теорию вероятностей и ее приложения. Т. 1. М.: Мир, 1967.
25. Аведьян Э.Д., Ле Т. Ч.Л. Двухуровневая система обнаружения DoS-атак и их компонентов на основе нейронных сетей СМАС // Информационные технологии. 2016. Т. 29, № 9. С. 711-718.
References
1. John von Neumann. Probabilistic logics and the synthesis of reliable organisms from unreliable components. Automata Studies, Princeton University Press. 1956. P. 43-98.
2. Shannon C.E. Von Neumann's contributions to automata theory. Bull. Amer. Math. Soc. 1958. V.64, N 3, Part 2. P. 123-129.
3. Suen C.Y., Nadal C., Mai T.A., Legault R., Lam L. Recognition of totally unconstrained handwritten numerals based on the concept of multiple experts. Proc. Int. Workshop «Frontiers in Handwriting Recognition». 1990. P. 131-143.
4. Hull J.J., Commike A., and Ho T.K. Multiple algorithms for handwritten character recognition. Proc. Int. Workshop «Frontiers in Handwriting Recognition». 1990. P. 117— 124.
5. Ho T.K., Hull J. J., and Srihari S.N. Combination of structural classifiers. Proc. 1990 IAPR Workshop Syntactic and Structural Pattern Recognition. 1990. P. 123-137.
6. Xu L., Krzyzak A., and Suen Ch.Y. Methods of combining multiple classifiers and their applications to handwriting recognition. IEEE Transactions on Systems, Man, and Cybernetics. 1992. V. 22, N 3. P. 418-435.
7. Haykin S. Neural Networks: A Comprehensive Foundation. NY.: Macmillan College Publishing, 1994.
8. Haykin S. Nevronnve Seti. Polnvi kurs. Moscow-Saint Peterburg-Kiev: Viliams, 2006. (in Russian).
9. Xu L., Amari Shun-ichi. Combining classifiers and learning mixture-of-experts. Encyclopedia of Artificial Intelligence. 2009. P. 319-326.
10. Efimov B.I., Faizullin R.T. Ustojchivost ob"ektivnogo resheniva ekspertov pri vozdeistvii ugroz po blokirovanivu informatsii v sistemah prinvativa reshenij s privlecheniem ekspertov. Dokladv TUSURa. 2013. N 1(27). P. 69-77. (in Russian).
11. Banitskij A.A., Kotenko I. V. Obnaruzhenie setevvh atak na osnove kompleksirovaniva neironnvh, immunnvh i neironechetkih klassifikatorov. Informatsionno-upravlyavuschie sistemv. 2015. N 4. P. 69-77. (in Russian).
12. Gu G., Cardenas A. A., Lee W. Principled reasoning and practical applications of alert fusion in intrusion detection systems. Proceedings of the 2008 ACM symposium on Information, computer and communications security. 2008. P. 136-147.
13. Panda M., Patra M.R. Ensemble voting system for anomaly based network intrusion detection. International Journal of Recent Trends in Engineering and Technology. 2009. V. 2, N 5. P. 8-13.
14. Wang G., Hao J., Ma J., Huang L. A new approach to intrusion detection using artificial neural networks and fuzzy clustering. Expert Systems with Applications. 2010. V. 37, I. 9. P.6225-6232.
15. Zhao H. Intrusion detection ensemble algorithm based on bagging and neighborhood rough set. International Journal of Security and Its Applications. 2013. V. 7, N 5. P. 193-204.
16. Peters Ch.A. Intrusion and fraud detection using multiple machine learning algorithms. A thesis submitted to the faculty of graduate studies of the University of Manitoba, 2013.
17. Chaurasia Sh., Jain A. Ensemble Neural Network and K-NN Classifiers for intrusion detection. International Journal of Computer Science and Information Technologies. 2014. V. 5. P. 2481-2485.
18. Benqdara S., Ngadi A., Sharif J.M., Ali S. Ensemble of clustering algorithms for anomaly intrusion detection system. Journal of Theoretical and Applied Information Technology. 2014. V. 70, N 3. P. 425-431.
19. Hock D., Kappes M. A self-learning network anomaly detection system using majority voting. Proceedings of 10th International Network Conference. 2014. P. 59-69.
20. Aburomman A.A., Reaz M.B.I. A survey of intrusion detection systems based on ensemble and hybrid classifiers. Computers k, Security. 2016. P. 1-45.
21. Kittler J., Alkoot F.M. Sum versus vote fusion in multiple classifier systems. IEEE Transactions on Pattern Analysis and Machine Intelligence. 2003. V. 25, N 1. P. 110-115.
22. Kuncheva L.I., Whitaker C.J., Shipp C.A. Limits on the majority vote accuracy in classier fusion. Pattern Analysis and Applications. 2003. V. 6. P. 22-31.
23. Lam L. and Suen C. Y. Optimal combination of pattern classifiers. Pattern Recognition Letters. 1995. V. 16. P. 945-954.
24. Feller V. Vvedenie v teorivu verovatnostei i voe prilozheniva. T. 1. Moscow: Mir, 1967. (in Russian).
25. Avedyan E.D., Le T.Ch.L. Dvuhurovnevava sistema obnaruzheniva DoS-atak i ih komponentov na osnove neironnvh setei SMAS. Informatsionnve tehnologii. 2016. V. 29, N 9. P. 711-718. (in Russian).
Llocmynujia e pedaK'n'um 23.11.2017
