CC BY
128
автоматизация процедур мониторинга
в web-пространстве на основе нейро-нечёткого
формализма
Назаров Алексей Николаевич,
д.т.н., главный научный сотрудник, ЗАО МНИТИ, Москва, Россия, [email protected]
Назаров Михаил Алексеевич,
генеральный директор ООО "СмартТек", Москва, Россия, [email protected]
Пантюхин Дмитрий Валерьевич,
преподаватель МФТИ, г. Долгопрудный, Россия,
[email protected] Ключевые слова: мониторинг, Hadoop, облачные
Цель: в общей проблематике проектирования в облачном сервисе технологических процедур мониторинга объектов в web-пространстве необходимо решить научную задачу по оценке состояния объекта наблюдения и идентификации его информационной модели. Объектом исследований для выбранной топологии мониторингового кластера Hadoop являются демон DataNode_состояние, отвечающий за формирование информационной модели объекта мониторинга и демон TaskTraker_состояние, оценивающий состояние объекта мониторинга и его идентификацию. Предметом исследований являются разработка методических рекомендаций по автоматизированному решению вышеупомянутой научной задачи в мониторинговом кластере Hadoop и формирование требований к демонам DataNode_состояние и TaskTraker_состояние. Методологически исследования по принятию решения по идентификации наблюдаемого события по изменению атрибутов объекта мониторинга проводятся в направлении исследования особенностей применимости нейро-нечеткого формализма для разработки модулей и алгоритмической основы решения научной задачи средствами и способами облачной системы web-программирования Hadoop.
Сформулированы основные системные требования, предъявляемые к интеллектуальной автоматизированной системе демона TaskTraker_состояние мониторингового кластера Hadoop. Предложена организация иерархии уровней и функциональных особенностей работы демона TaskTraker_состояние. Исследованы механизмы нечеткого вывода для программных модулей демона TaskTraker_состояние. Показано, что адаптивный характер уровней системы оценки таких программных модулей обусловлен использованием интеллектуальных средств нечёткой логики и нейронных сетей для решения задач идентификации, классификации и кластеризации объектов мониторинга по признакам изменений атрибутов объектов мониторинга в web-пространстве, формируемых распределёнными датчиками. Рекомендованы подходы для разработки алгоритмов обучения нейронной сети, учитывающих стохастическую динамику изменений атрибутов объекта мониторинга. Предложен подход к математической формализации проблемы синтеза демона TaskTraker_состояние в виде задачи условной оптимизации. Сформулированы ограничения, учитывающие специфику облачных вычислений и организации программных решений в среде Hadoop. Рекомендованы подходы к обнаружения изменения атрибутов объекта мониторинга на основе метода бутстрепа. Показана возможность реализации нейросетевого метода определения типа компьютерной атаки, на примере открытой базы KDD99 по обнаружению так, и довольно высокое качество его работы.
Для цитирования:
Назаров АН., Назаров М.А., Пантюхин Д.В., Сычев А.К., Покрова С.В. Автоматизация процедур мониторинга в web-пространстве на основе нейро-нечёткого формализма // T-Comm: Телекоммуникации и транспорт. - 2015. - Том 9. - №8. - С. 26-33.
For citation:
Nazarov A.N., Nazarov, M.A., Pantuhin D.V., Sychev A.K., Pokrova S.V. Automation of monitoring processes in web-based neuro-fuzzy formalism. T-Comm. 2015. Vol 9. No.8, рр. 26-33. (in Russian).
Сычев Артем Константинович,
старший научный сотрудник ООО "СмартТек", Москва, Россия, [email protected]
вычисления, автоматизация, программное обеспечение, программный модуль, модуль, алгоритм, объект, демон, кластер, цель, система управления, требования, модель.
Покрова София Владимировна,
старший преподаватель ФГАОУ ВО "КФУ имени В.И. Вернадского", г. Симферополь, Россия, [email protected]
Работа выполнена при поддержке Российского фонда фундаментальных исследований (проект № 14-47-01574 р_юг_а).
1. Введение. Мониторинг в web-пространстве
на основе Hadoop
Мониторинг объектов в web-пространстве подразумевает регулярные, выполняемые по заданной программе наблюдения Интернет-объектов (IP-адресов пользователей всемирной сети, сайтов и др.), их информационных и иных ресурсов, сервисов как для юридических, так и для физических лиц, позволяющие выделить состояния этих объектов и происходящие в них процессы под влиянием Интернет-деятельности в масштабах Земли. В зависимости от целевой функции при web-мониторинге производится также оценка состояния и функциональной деятельности, ценности Интернет-экосистем, и, во- вторых, создаются условия для определения корректирующих воздействий в тех случаях, когда целевые показатели проблемно-ориентированных условий не достигаются.
Hadoop как технология распределённой обработки больших объёмов данных в web-среде, быстро становится важным инструментарием, умением для широкого круга программистов [1].
В этой связи под мониторингом в среде Hadoop будем понимать организованный мониторинг выбранных объектов в web-пространстве (предметной области) с использованием возможностей Hadoop.
Hadoop создавался для работы с Big Data в web-пространстве. И в этой связи имеет ряд уникальных свойств и способностей. Уместна цитата [1] «Говоря формально, Hadoop - это каркас с открытым исходным кодом, предназначенный для создания и запуска распределённых приложений, обрабатывающих большие объёмы данных». Hadoop работает на основе технологии MapReduce разработанной компанией Google. MapReduce является простым, но очень мощным способом для обработки и анализа очень больших наборов данных, и особенно эффективен при объемах от нескольких петабайт.
2. Постановка задачи исследования
В [2] из достаточно общих предпосылок проанализированы принципы, подходы и технологические процедуры по организации мониторинга. Разработаны методические подходы по созданию алгоритмов и программных решений в среде web-программироаания Hadoop применительно к широкому классу задач мониторинга объектов в web-пространстве. Впервые разработана топология мониторингового кластера Hadoop, обладающая общностью применения, схематично изображенная на рис. 1. Проведены исследования и предложены алгоритмы измерений атрибутов объектов мониторинга в web-просгрансгве с учетом требований единства измерений. Разработаны системные требования к проектированию мониторингового кластера Hadoop.
Вместе с тем в общей проблеме синтеза мониторингового кластера Hadoop, остается нерешенной научная задача научно-методического обоснования создания следующих технологических процедур - оценка состояний объекта мониторинга (наблюдения) и идентификации его информационной модели [2]. Как следует из рис. 1 за выполнение этих технологических процедур
отвечают демоны DataNode_ состояние и демон TaskTraker состояние [2].
Рис. 1, Топология мониторингового кластера Hadoop. Описание Системы управления и демонов с англоязычным началом в названии: NameNode_..., DataNod_..., Secondary NameNode_, JobTracker_..., TaskTracker_... приведены в [2]
Применение нейpo-нечетких подходов для создания различных средств и систем автоматизации, а также принятия решений в настоящее время широко представлено в различных областях науки и техники. Так, в работах [3-5], излагаются достигнутые научные результаты при автоматизации противодействия атакам злоумышленников в Интернете, включая бот-атаки. В работах [6-8] исследуются аспекты синтеза интеллектуальной система анализа и оценки устойчивости бортовых вычислительных комплексов к деструктивному воздействию электромагнитных импульсов.
На основе нейро-нечеткого формализма создаются программные средства, позволяющие оценивать состояние различных объектов наблюдения в различных системах автоматизации. Представляется целесообразным разработать подходы и методические рекомендации к применению этого формализма для оценки состояния объекта наблюдения в web-пространстве и идентификации его информационной модели в мониторинговом кластере Hadoop.
3. Требования к интеллектуальной системе
демона ТазкТгакег_состояние
Этот демон работает с демоном DataNodе_состояние с учётом целей мониторинга и специфики Системы управления мониторингом объекта в web-nространстве [2].
В среде Hadoop разрабатывается программное обеспечение демона, которое производит оценку текущего состояния объекта мониторинга в зависимости от целей мониторинга и специфики Системы управления мониторингом объекта в web-пространстве. Полагаем решенными вопросы по созданию системы датчиков, поставляющих достоверную и полную информацию о динамике атрибутов объекта мониторинга.
Воспользовавшись результатами [3,4] предлагается следующая иерархическая структура интеллектуальной
системы демона Та5кТгакег_состояние как комплекса программных модулей автоматизированной системы (АС) по оценке состояния объекта мониторинга в \л/еЬ-пространстве. По аналогии с [5] демон содержит следующие функциональные модули: системы нечётких продукционных правил, описывающих работу идентификатора с учётом экспертных оценок; нейро-нечёткую сеть, в структуре которой отражена система нечётких продукционных правил; чёткую самообучаемую нейронную сеть (НС) для решения задач классификации и кластеризации входных векторов. Как уже отмечалось в [3,4] такая иерархия обладает общностью применения и, следовательно, пригодна для различных объектов мониторинга на основе мониторингового кластера Найоор, изображенного на рис. 1.
Уровень идентификации изменений атрибутов (характеристик, параметров) объекта мониторинга, предназначенный для классификации по вектору признаков изменений в элементы и узлах объекта мониторинга, формируемых датчиками этих изменений, иллюстрирует рис. 2,
Рис. 2. Схема адаптивного классификатора уровня идентификации изменений атрибутов объекта мониторинга
Основные системные требования, предъявляемые к АС демона Та 5 кТ га кег состояние объекта мониторинга в пространстве, наличие которых является обязательным:
- представление априорного опыта экспертов по \л/еЬ-мониторингу выбранного объекта в виде базы знаний, описанной системой продукционных правил;
- наличие критериальной базы по принятию решений по изменению атрибутов объекта мониторинга;
- нечёткий логический вывод, позволяющий использовать опыт экспертов по \«еЬ-мониторингу выбранного объекта в виде системы нечётких продукционных правил для начальной настройки информационного поля (системы межнейронных связей) нечёткой НС;
- подключаемые аггрегационные сервисы и службы обработки неструктурированной информации о про-
изошедших изменениях атрибутов объекта мониторинга для последующего анализа;
- способность НС к классификации и кластеризации;
- способность НС к извлечению знаний о профиле и механизме реализации изменений атрибутов объекта мониторинга в web-пространстве;
- способность информационного поля НС к накоплению опыта в процессе обучения и самообучения.
В среде Hadoop должно быть разработано программное обеспечение, удовлетворяющее вышеизложенным требованиям. Кроме того, демон TaskTraкег состояние объекта мониторинга в web-пространстве должен опираться на сервисно-ориентированные интеграционные методы в части масштабируемости своих функциональных особенностей.
4. Механизм нечёткого логического вывода
Данный механизм основан на представлении опыта специалистов (экспертов) по web-мониторинг/ системой нечётких продукционных правил вида IF-THEN, например [3-5]:
П,: если x¡ есть Ап и ...Щ есть АХп, то у есть
П2: если X] есть а2, и ...хп есть л2п,то у есть в2;
П*: если Зс, есть Ак1 и есть Лкп, то у есть вк, где ; и у:- - нечёткие входная и выходная переменные соответственно; л и B¡, j=l,...,n, i-\,...,k, соответствующие функции принадлежности.
Объединение возможностей НС и нечёткого логического вывода является одним из перспективных подходов к организации систем искусственного интеллекта. Как было показано в [6-8], системы нечёткой логики компенсируют основные «непрозрачности» НС: в представлении знаний и способности объяснять результаты работы интеллектуальной системы, т.е. дополняют НС. Нечёткий формализм вывода работает при отсутствии знаний об атрибутах объектов мониторинга и их изменений для любых объектов мониторинга, что актуально при появлении новых атрибутов с неизвестной динамикой изменений.
Для функционала демона TaskTrakeг_состояние объекта мониторинга в web-пространстве весьма важна такая особенность нейро-нечётких сетей как способность автоматически генерировать систему нечётких продукционных правил в процессе обучения и самообучения, извлекая скрытые закономерности из данных входной обучающей выборки.
Алгоритмы обучения нейронной сети с использованием стохастических свойств динамики изменений атрибутов объекта мониторинга в web-пространстве должны базироваться на стандартном методе минимизация ошибки обобщения [5,9], на основе минимизации квадратичного функционала невязки на обучающей выборке, поиске экстремума градиента целевой функции плотности распределения ошибок с использованием процедуры Роббинса-Монро [3,5,9,10].
5. Организация иерархии уровней
и технологические особенности
функционирования интеллектуальной
системы демона Та5кТгакег_состояние
Способность НС к классификации и кластеризации используется в демоне для решения двух основных задач:
1) классификация входного вектора, например, вектора признаков изменений атрибутов объекта мониторинга;
2) расширение классификации при появлении на входе классификатора ранее не встречавшегося сочетания признаков изменений атрибутов.
Пусть полное на данный момент пространство посылок х = {?,,...,*„,} и полное пространство заключений
Y = {у],,,.,j,,} • Нечёткие причинные отношения
ЛГ-»3?., i = l,...,т, j = l,...,n между элементами
этих пространств можно представить в виде матрицы R с элементами r.,, i = lt...,mf / = !,...,л, а посылки
и заключения между ними можно представить в виде: B=A*R, где • - операция композиции, например, max-min-композиция.
Согласно [3-8] в нечётком логическом выводе знания эксперта А В отражает нечёткое отношение R- Л~> В, где операция —> соответствует нечёткой импликации. Нечёткое отношение R можно рассматривать как нечёткое подмножество прямого произведения XxY полного множества X и заключений Y, а процесс получения нечёткого результата вывода В по посылке А и знаниям А-> В - как композиционное правило: В= А* R- А»(А^> В).
Из практики [3-8] следует, что на уровне накопления опыта АС нейро-нечёткий классификатор векторов характеристик, параметров изменения (динамики атрибутов) объекта мониторинга целесообразно проектировать в виде трёхслойной нечёткой НС (рис. 3) с возможностью уменьшения (сжатия) числа признаков.
Каждому входному вектору из пространства можно поставить в соответствие нечёткий формальный нейрон (ФН). Средний слой содержит нечётких ФН, выполняющих операцию логического вывода (например, min) над сочетаниями нечётких высказываний (HB) первого слоя НС для формирования системы нечётких классификационных заключений.
Третий слой нечёткой НС образован из нечётких ФН «ИЛИ» (по числу нечётких заключений у , j = l,...,n)
и формирует вектор выходных нечётких заключений в соответствии с заданной экспертами системой нечётких правил.
6. Основные этапы проектирования интеллектуальной системы демона Та5кТгакег_состояние
Способность к обучению интеллектуальной системы обуславливается избыточностью входной информации и скрытыми в данных закономерностями, расширяю-
щими и/или модифицирующими, изменяющими информационную модель объекта мониторинга и, как следствие, саму нейронную сеть в процессе функционирования мониторингового кластера.
Рис. 3, Схема нейро-нечёткого классификатора АС.
Б I. - комплементарная пара функций принадлежности
С учетом результатов, полученных в [8], предлагаются следующие методические рекомендации проектирования интеллектуальной системы демона Та5кТгакег_состояние в виде следующей последовательности шагов.
1. Решение задачи классификации состояний объекта мониторинга по известным значениям атрибутов (характеристик, параметров) объекта мониторинга по вектору признаков. Сохранение полученной в решении информации в модуле Д-Клас-С демона Оа1аNск!е_состояние.
2. Решение задачи кластеризации изменений состояний объекта мониторинга по признакам таких изменений как саморазвитие классификации при расширении множества известных значений атрибутов (характеристик, параметров) объекта мониторинга. Сохранение полученной в решении информации в модуле Д-Кластер-С-А демона Оа1аИо£)е_состояние.
3. Формирование множества экспертных оценок для принятия решения по соответствию значений атрибутов (характеристик, параметров) объекта мониторинга признакам их изменения. Сохранение полученной информации в модуле Д-Э-0 демона Оа1а N ос! есостоя н и е.
4. Разработка программного модуля (ПМ-Н-П-П) демона Та5кТгакег_состояние, реализующего нечеткие продукционные правила, по результатам выполнения п.1 и п.З.
5. Разработка программного модуля (ПМ-Н-Н-К) демона Та 5 кТга кег состояние, реализующего системы нейро-нечетких классификаторов (признаки изменение атрибутов - изменение состояния объекта мониторинга).
6. Разработка программного модуля (ПМ-Ч-К) демона Та зкТга кегсостоя ние, реализующего решение задачи п.2 в виде четких классификаторов на основе самообучающейся адаптивной системы - кластеризато-ров (признаки изменение атрибутов - изменение состояния объекта мониторинга).
7. Разработка программного модуля (ПМ-О-К-К) демона Та5кТгакег состояние, реализующего обучение классификаторов и «пастеризаторов по п.5, б на обучающей выборке - подмножестве входных векторов (векторов признаков изменений атрибутов объекта мониторинга) с целью формирования информационных полей четких и нечетких сетей. Обучающие выборки сохраняются в модуле О-В демона Оа1аМос1е_состояние.
8. Разработка программного модуля (ПМ А-Ф) демона ТазкТгакег_состояние, реализующего алгоритмы адаптации четких и нейро-нечетких сетей, соответственно кластеризаторов и классификаторов (признаки изменение атрибутов - изменение состояния объекта мониторинга) с целью уточнения, актуализации соответствующих им в модулях демона йа 1а Nск1е_состоя ние информационных полей.
9. Разработка программного модуля (ПМ К-А-Э-О-Н-С) демона ТаэкТгакег^состояние, реализующего алгоритмы адаптации экспертных оценок (п.З) и системы нечетких продукционных правил (п.4 ) в соответствующих модулях.
10. Разработка программного модуля (ПМ-Н-Н-П) демона ТавкТгакег^состояние, формирующего новые нечеткие правила в случае расширения классификации и/или кластеризации по результатам выполнения пп.8, 9.
Шаги по пп. 1-9 повторяются в процессе функционирования мониторингового кластера Найоор. При этом осуществляется постоянное обновление информационной модели объекта наблюдения и накопление опыта по идентификации его состояния.
6. Подход к математической формализации
синтеза демона Та5кТгакег_состояние
и некоторые особенности обработки
событий мониторинга
В общем случае этот демон осуществляет постоянную обработку данных о событиях, как правило, стохастических, изменений атрибутов объекта мониторинга, поступающих от системы датчиков объекта мониторинга в \теЬ-пространстве. Поскольку предполагается долгосрочное (годы) функционирование мониторингового кластера, то в качестве целевой функции можно предложить максимум устойчивости функционирования демона ТазкТгакег_состояние. Аналитический вид целевой функции требует отдельной разработки и исследований, в том числе исходя из архитектуры программных модулей и аппаратных средств мониторингового кластера для конкретной Системы управления выбранной предметной области.
В общем случае можно предложить следующие ограничения мониторинга, основанные на вероятностно-
временных тактико-технических требованиях к показателям качества функционирования демона ТаэкТга кег_состоя н ие:
- вероятностное: Рсп[г <Тдоп )> , где / -
случайное время обработки события мониторинга, 2*доп _ д0ПустИМ0е значение времени обработки события мониторинга, Рсв - значение вероятности своевременной обработки события мониторинга, рВВп -
допустимое значение вероятности события мониторинга;
- по оперативности: тАН <ТД^П, где ТАН - среднее
значение время г, - его допустимое значение;
АН
- по обоснованности: л/с>тахЛ^ Ин >тахЛ^ и NА > тахN¿1 гДе: количество ана-
д-е5
лизируемых сценариев поведения объекта мониторинга, число новых значений атрибутов объекта мониторинга, количество учитываемых атрибутов объекта мониторинга соответственно; 5 - множество вариантов состояния (реализации, функционирования, генерации) объекта мониторинга, Л^ - количество ана-
лизируемых сценариев поведения объекта мониторинга, число новых значений атрибутов объекта мониторинга, количество учитываемых атрибутов объекта мониторинга 3 -го состояния соответственно;
- ресурсопотребления: РРЕС[г < Ядоп)> Рд°сп, где РРЕС ~ вероятность ресурсопотребления при обработке мониторингового события, а РДЕСП - её допустимое значение, г - потребляемый ресурс (аппаратно-программный, конфигурационный, виртуальный и др.) при обработке мониторингового события, а Ядои - его допустимое значение. Из лучших практик [8] можно воспользоваться конкретизацией =0,99,3 Ядоп =0,15-
В зависимости от требований, предъявляемых к Системе управления, вышеприведенные показатели уточняются конкретными значениями. Вероятностное ограничение может трансформироваться в квантильную форму, а ограничение по оперативности - в ограничение для других моментов времени /.
Для оценивания функции квантили стохастических характеристик атрибутов объекта мониторинга в \л/еЬ-пространстве демону ТаэкТгакегсостояние рекомендуется содержать программный модуль, реализующий бутстреп-процедуру, особенности работы которой подробно исследованы в [3,5,11-13].
7. Применение нейросетевых алгоритмов к решению задачи определения типа компьютерной атаки на основе базы К0099
База КР099 имеется в открытом доступе и состоит из трех наборов, представленных в табл. 1. Нами использовалась только компонента «10% КРР». Эта ком-
понента содержит больше примеров атак, чем нормальных соединений и количество различных типов атак не одинаково.
Таблица 1
Основные характеристики компонент БД К0099 по обнаружению атак
Dataset DoS (samples) Probe u2r r2l Normal
"10% KDD" 391458 4107 52 1126 97277
"Corrected 229853 4166 70 16347 60593
KDD"
"Whole KDD" 3883370 41102 52 1126 972780
Значения текстовых параметров представлялись в числовом виде следующим образом:
Тип протокола {protocoltype)-. {tcp=l, udp=2, icmp=3), Флаг {flag)\ (OTH=4t\ REJ=5, RSTO=6,..., SH=13), Сервис (services)-. {http=l4,,.., redj=78). Была создана нейронная сеть типа многослойный персептрон, состоящая из 3 слоев нейронов [10].
Число входов - 41 по числу измеряемых параметров в БД. Число выходов - 5 по числу категорий атак (4 категории атак и одна категория для нормального состояния, см. табл. 2).
Таблица 2
Содержание компоненты «10% KDD» БД
Attack # Samples Category Target vector
smurf. 280790 dos 0,1,0,0,0
neptune. 107201 dos 0,1,0,0,0
back. 2203 dos 0,1,0,0,0
teardrop. 979 dos 0,1,0,0,0
Pod. 264 dos 0,1,0,0,0
Land 21 dos 0,1,0,0,0
Normal 97277 normal 1,0,0,0,0
Satan 1589 probe 0,0,1,0,0
ipsweep. 1247 probe 0,0,1,0,0
portsweep. 1040 probe 0,0,1,0,0
nmap. 231 probe 0,0,1,0,0
warezclient 1020 r2l 0,0,0,1,0
guess„passwd. 53 r2l 0,0,0,1,0
warezmaster. 20 jr2l 0,0,0,1,0
¡map. 12 r2l 0,0,0,1,0
ftp_write. 8 r2l 0,0,0,1,0
multihop. 7 r2l 0,0,0,1,0
Phf 4 r2l 0,0,0,1,0
Spy 2 r2l 0,0,0,1,0
buffer overflow. 30 u2r 0,0,0,0,1
rootkit. 10 u2r 0,0,0,0,1
loadmodule. 9 u2r 0,0,0,0,1
perl. 3 u2r 0,0,0,0,1
Число скрытых слоев и число нейронов в них подбиралось экспериментально.
Функции активации нейронов скрытых слоев имеют вид (1/(1 + ехр (-х))), выходного слоя - линейная.
Метод обучения нейронной сети - метод обратного распространения ошибки.
Программная реализация выполнялась в среде Матлаб.
Нейронная сеть обучалась на 85% данных из «10% KDD» БД и тестировалась на оставшихся 15%.
Результаты (матрица ошибок) представлены на рис. 4 и 5. Процесс обучения показан на рис. 6.
Таким образом, было достигнуто 99.3% правильного обнаружения и классификации типа атаки за 202 эпохи обучения.
H Confusion (plotconfusKJn) f сэ )Л
Fit« Edit View Insert Tools Desktop Window Help
Confusion Matrix
Normal 1
#4 О
Э7114 19 7% 2272 0 5% 311 0.1% 828 0 2% «Г 0.0% 96 6% 34%
S3 0.0% 389179 78 8% 31 0 0% 6 0 0% 0 oo% 100 1)% 0 0%
IT 0 0«, i 0 0% 3765 0 8% 1 0 0% 0 0 0% «3% 0 7%
M 0.0% 0 oo% В 0 0% 291 0 1% 4 о 0% 81 1% 18 9%
J 0.0% 6 0 0% i 0 0% в 0 0% 0 0 0% MaH%
M 02% 99 4% 0 6% И 7* 3.3% 25.8% 74 2% CO'. 100% 95 J% 0.7*
г/
3
Target
A
Class
Рис. 4. Результаты обучения нейронной сети обнаружению и классификации атак на 85% базы "10% КО О". Зеленым цветом обозначены правильные классификации, красным неправильные, серым средние значения для классов, синим общее среднее значение
PJ С onfutrort (platconfuîion) File Edit View Insert Toofs Desttop Window Help
Confusion Matrix
: -=?. I M 1 Ж
и I _£0 J о
s
#4
о
14Б30 1S 7% 327 0 4% 41 0.1% 126 0 24 8 0 0% 9C ГЦ
ÎT 0 0% 58328 78 7% I * 0 0% 0 0% D 0 0% 100 0% 0 0%
4 0 0% 4 0 0% 650 0 7% 0 0 OK 0 0 0% *IH 1 4%
11 0 o% .». 0 0* 0 0% 48 0 1% 1 0 0% 00.04» 20 0%
№.. 0 0% e 0 0% 0 0 0% , g 0 0% a 0 0% NoN%
Vi a* 02% 99 4% 0 6% 02 1W 7 0% 27 3% 72.7% 100% 0.7%
э t
Target Claas
Рис. 5. Результаты тестирования нейронной сети по обнаружению и классификации атак на 15% базы "10% ШР". Зеленым цветом обозначены правильные классификации, красным - неправильные, серым - средние значения для классов, синим - общее среднее значение
7] Pertoimnner [plotperfpftnj ' !
Fite Edh ViM Insert T oclt DeskTop Wmdon Help
Beit Validation Performance 110,0023017 at epoch 196
И S3 1
Рис. б. Процесс обучения нейронной сети
8. Заключение
Для топологии мониторингового кластера Нас1оор разработаны и исследованы методические рекомендации синтеза демонов Та 5 кТга ке гсосто я н и е и Оа(аМос1е_состояние, ответственные за решение задачи по оценке состояния объекта наблюдения и идентификации его информационной модели, с учетом особенностей облачных вычислений. Предложены принципы, подходы, на основе нейро-нечетких решений, которые могут быть положены в основу при проектировании интеллектуальных автоматизированных систем мониторинга объектов в ростра нстве.
Предложены механизмы принятия решений на основе формализации априорного опыта экспертов в нечеткой базе нечетких продукционных правил. В рамках решения задач по классификации и расширению классификации входных данных о признаках динамики атрибутов объекта мониторинга исследованы возможности нейро-нечеткого классификатора в виде трехслойной нечеткой НС, состоящей из следующих уровней:
- система нечетких продукционных правил, описывающих работу идентификатора с учетом экспертных оценок;
- нейро-нечеткую сеть, в структуре которой отражена система нечетких продукционных правил;
- четкая самообучаемая нейросеть для решения задачи кластеризации (классификации) входных данных из и/еЬ-пространства.
Причём нижний уровень решает проблемы оперативной идентификации изменений атрибутов, а верхний -накопления опыта по обнаружению последствий таких изменений на элементах и узлах объекта мониторинга.
Для обучения нейронной сети предложен общий подход, позволяющий учитывать стохастическую динамику атрибутов объекта мониторинга в ;чеЬ-пространстве, базирующийся на стандартном методе минимизация ошибки обобщения на основе минимизации квадратичного функционала невязки на обучающей выборке.
Предложен подход к математической формализации синтеза демона Та5кТгакег_состояние в виде задачи
условной оптимизации. Предложены ограничения в виде неравенств, отражающие специфику облачный вычислений 8 среде Hadoop. Проанализированы возможности применения метода бутстреп для оценки динамики атрибутов объекта мониторинга.
Результаты, полученные при проведении компьютерного экспериментального исследования возможности практической реализации нейросетевого метода определения типа компьютерной атаки, показали довольно высокое качество его работы.
Литература
1. Чак Лэм. Hadoop в действии. - М.: ДМК Пресс, 2012. -424 с.
2. Волков ДА., Назаров А.Н., Назаров М.А. Глобальная угроза - Теневой Интернет // Сборник ежегодных научных трудов Международной конференции «Управление развитием крупномасштабных систем» (MLSD'2014), М.: ИПУ РАН. -2014. - С.452-459.
3. Назаров А.Н., Комаров АЛ. Интеллектуальная система ки-бербезопасности в пространстве на WEB-технологиях // T-Comm
- Телекоммуникации и Транспорт, 2013. - № 10. - С. 81-84.
4. Сачков И.К., Назаров А.Н. Автоматизация противодействия бот-атакам // T-Comm - Телекоммуникации и Транспорт, 2014. - Т.8. - № 8. - С.5-9.
5. Назаров А.Н. О подходах к созданию интеллектуальной системы анализа атак из Интернета//Сборник материалов ХП Всероссийского совещания по проблемам управления (ВСПУ-2014), ИПУ РАН, 2014,- - С. 9208-9215.
6. Михайлов В.А., Мырова Л.О., Царегородцев A.B. Интеллектуальная система анализа и оценки устойчивости БЦВК к деструктивному воздействию ЭМИ // Электросвязь, №8, 2012.
- С. 36-39.
7. Воскобович В.В., Михайлов В.А., Мырова Л.О., Царегородцев A.B. Системный подход к созданию методологии анализа и оценки устойчивости к деструктивному воздействию ЭМИ // Технологии ЭМС, 2012. - № 1(40). - С.51-58.
8. Михайлов В.А. Разработка методов и моделей анализа и оценки устойчивого функционирования бортовых цифровых вычислительных комплексов в условиях преднамеренного воздействия сверхкоротких электромагнитных излучений, автореферат диссертация на соискание ученой степени доктора технический наук, ОАО «НИИ «Аргон», 2014. — 45 с.
9. Овсянников A.B., Вайда Ю.А., Лаврентьев B.C. информационные алгоритмы обучения нейронных сетей // Труды БГТУ. Сер. физ.-мат. Наук и инфор. Вып. XII. 2004. С. 110-113.
10. Фомин В.Н. Рекуррентное оценивание и адаптивная фильтрация. - М.: Наука. Гл. ред. физ.-мат, лит., 1984. - 288 с.
11. Вишняков Б.В., Кибзун А.И. Применение метода бутст-репа для оценивания функции квантили // Автоматика и телемеханика, № 11, 2007. - С. 46-60,
12. Гаев Л.В. Рандомизированная оценка результатов имитационных экспериментов / СПб., Сборник докладов Конференции «ИММОД-2003», 2003. - 5 С.
13. Галамбош Я. Асимптотическая теория экстремальных порядковых статистик. - М.: Наука, 1984.
14. У. Bouzida and F. Cuppens. "Neural networks vs. decision trees for intrusion detection". IEEE / 1ST Workshop on Monitoring, Attack Detection and Mitigation (MonAM2006) Tuebingen, Germany, September, 2006. - 8 p.
COMMUNICATIONS
AUTOMATION OF MONITORING PROCESSES IN WEB-BASED NEURO-FUZZY FORMALISM
Nazarov Alexey, principal researcher, doctor of technical Sciences, Moscow Scientific Research Television Institute,
JSC (MNITI, JSC), Moscow, Russia, [email protected] Nazarov Mikhail, Director General, LLC "SmartTech"; Moscow, Russia, [email protected] Pantuhin Dmitriy, lecturer, MIPT, Moscow region, Dolgoprudny, Russia, [email protected] Sychev Artem, senior researcher, LLC "SmartTech", Moscow, Russia, [email protected] Pokrova Sofiya, senior lecturer, V.I. Vernadsky Crimean Federal University; Republic of Crimea, Simferopol, Russia,
Abstract
Objective: in the General problems of design in the cloud technological procedures monitoring of objects in the web space needed to solve a scientific task to assess the state of a monitoring object and the identification of its information model. The object of research for a selected topology of the monitoring a Hadoop cluster are demon DataNode_cocroaHMe responsible for the development of the information model of the object of monitoring and demon TaskTraker_cocroflHMe assessing the state of the monitoring object and its identification. The subject of the research is to develop methodological recommendations on the automated address the aforementioned research challenges in monitoring the Hadoop cluster and the formation of requirements to the demons DataNode_cocroaHMe and TaskTraker_cocroaHMe. Methodologically, research on decision making on the identification of observed events to change the attributes of the object of monitoring conducted in the direction of the studies of the applicability of neuro-fuzzy approach for the development of the modules and algorithmic foundations of scientific problem solving tools and how cloud web programming, Hadoop. Formulated the basic system requirements for intelligent automated system daemon TaskTraker_cocroaHMe monitoring a Hadoop cluster. Proposed organization of the hierarchy levels and functional characteristics of the work of the demon TaskTraker_cocroaHMe. Investigated the fuzzy inference mechanisms for software modules demon TaskTraker_cocroaHMe. It is shown that the adaptive nature of the assessment of such software modules due to the use of intellectual tools of fuzzy logic and neural networks for solving problems of identification, classification and clustering of monitoring objects on the grounds of changes in the attributes of the monitored objects in the web-space, generated by distributed sensors. Recommended approaches for the development of learning algorithms neural networks, taking into account the stochastic dynamics of changes of attributes of the object of monitoring. The approach to mathematical formalization of the problem of synthesis of the demon TaskTraker_cocroflHMe in the form of a constrained optimization problem. Constraints are formulated, taking into account the specifics of cloud computing and the organization of software solutions using Hadoop. Recommended approaches to change detection of attributes monitored on the basis of the method of bootstrap. The possibility of realization of neural network method to determine the type of computer attacks, for example, an open database KDD99 detection, and the relatively high quality of his work.
Keywords: monitoring, Hadoop, cloud computing, automation, software, a software module, module, algorithm, object, demon, cluster, objective, management system, requirements, model.
References
1. Chuck, L 2012, Hadoop in action, DMK Press, Moscow.
2. Volkov, D., Nazarov, A. & Nazarov, Moscow, 2014 A global threat - the dark web. Paper presented in the annual Collection of scientific works of International conference Managing the development of large-scale systems (MLSD'2014), Institute of control Sciences RAS, pp. 452-459.
3. Nazarov, A. & Komarov, A 2013 Intelligent cybersecurity in space on WEB technologies, T-Comm, no. 10, pp. 81-84. (in Russian)
4. Sachkov, I. & Nazarov, A. 2014, Automation bot counter-attacks, T-Comm, vol. 8, no. 8, pp. 5-9. (in Russian)
5. Nazarov, A 2014 On approaches to the development of an intelligent system for the analysis of attacks from the Internet. Paper presented in the Collection of proceedings of the XII all-Russian conference on control problems (EVERYTHING-2014), Institute of control Sciences RAS, pp. 9208-9215. (in Russian)
6. Mikhailov, V., Myrova, L.& Tsaregorodtsev, A. 2012, Intelligent system of analysis and evaluation of onboard digital computer system's resistance to destructive electromagnetic effects, Electrosvyaz, no. 8, pp. 36-39. (in Russian)
7. Voskobovich, V., Mikhailov, V., Myrova, L.& Tsaregorodtsev, A. 2012, Systematic Approach to development of the Methodology of infocommunication system's Analysis and Evaluation of Resistance to Destructive electromagnetic effects, EMC Technology, no. 1(40), pp. 51-58. (in Russian)
8. Mikhailov, V 2014, Development of methods and models for analysis and evaluation of the sustainable functioning of onboard digital computer complexes in the conditions of intentional exposure of ultrashort electromagnetic radiation, doctoral thesis, JSC "Research Institute "Argon", Moscow. (in Russian)
9. Ovsyannikov, A., Bayda, J.& Lavrent'ev V 2004, Information the learning algorithms of neural networks, Proceedings of BSTU.Ser. Phys.-Mat. Science and information, vol. XII, pp. 110-113. (in Russian)
10. Fomin, V. 1984 Kalman and adaptive filtering, Nauka. CH. ed. Fiz.-Mat. lit., Moscow. (in Russian)
11. Vishnyakov, B & Kibzun, A 2007 Application of the bootstrap method for estimation of the quantile function, Avtomatika i Telemehanika, no. 1 1, pp. 46-60. (in Russian)
12. Ann L.V. Randomizearray evaluation of the results of simulation experiments/ St. Petersburg, The proceedings of the Conference "IMM0D-2003", 2003.5 p. (in Russian)
13. Galambos, Y 1984, Asymptotic theory of extreme order statistics, Nauka, Moscow. (in Russian)
14. Bouzida, Y & Cuppens, F 2006, Neural networks vs. decision trees for intrusion detection, paper presented at the IEEE / IST Workshop on Monitoring, Attack Detection and Mitigation (MonAM2006), Tuebingen, Germany, viewed 22 April 2015, http://yacine.bouzida.free.fr/Articles/2006M0NAM.pdf.
^^^ ____-
T-Comm Vol.9. #8-2015 33
