CC BY
238
Сравнительный анализ характеристик обнаружения аномалий трафика методами кратномасштабного анализа
Ключевые слова: аномалии сетевого трафика; методы обнаружения; вейвлет декомпозиция; коэффициенты: детализации и аппроксимации.
Рассматривается анализ аномалии сетевого трафика с помощью статистических алгоритмов, основанных на методах кратномасштабного вейвлет анализа в режиме online с использованием окон обучения и обнаружения. В качестве исходных данных анализа взяты восемь различных трасс сетевого трафика, полученных из данных DARPA Lincoln Labs. Анализируются вопросы обнаружения сетевых атак: UDP-Sorm, SYN-flood, SMURF, ICMP-flood, FRAGGLE, FLASHCROWD, имеющих схожие статистические признаки, выражающиеся в изменении среднего значения и дисперсии. Путем вейвлет-анализа из последовательности коэффициентов сетевого трафика получены два вида подпоследовательностей вейвлет-коэффициентов (деталей и аппроксимаций). Показано, что аномальные изменения в среднем значении сетевого трафика выявляются в спектре аппроксимирующих коэффициентов с использованием статистического критерия Фишера для выбросов средних значений, а изменения в дисперсии сетевого трафика выявляются в спектре детализирующих коэффициентов с использованием статистического критерия Фишера для дисперсионных выбросов. Реализация процесса обучения алгоритма производилась путем вычисления коэффициентов решающей статистики по двум критериям: решающей статистики для критерия Фишера для выбросов среднего значения и решающей статистики для критерия Фишера для дисперсионных выбросов. В процессе реализации рассмотренного подхода был разработан программный комплекс, реализующий задачу анализа входных данных (захваченных коэффициентов сетевого трафика) с помощью дискретного вейвлет преобразования (ДВП). Процесс распознавания аномалий сетевого трафика и применения предложенного алгоритма распознавания аномалий с использованием статистических критериев можно свести к определению пороговых значений при наличии и отсутствии аномалий в наблюдаемом сетевом трафике. Показано, что величины вероятностей правильного определения аномалий и ложного обнаружения зависят от соотношения между характером аномалий (быстрые/средние/медленные) и уровнем вейвлет разложения. На основании полученных результатов делается вывод о возможности применения разработанных алгоритмов с использованием online вейвлет-анализа для выявления аномалий сетевого трафика, соответствующих различным видам сетевых атак.
Шелухин О.И.,
Зав. кафедрой"Информационная безопасность и автоматизация", МТУСИ, профессор, д.т.н., [email protected]
Панкрушин А.В.,
аспирант кафедры "Информационная безопасность и автоматизация" МТУСИ, [email protected]
Постановка задачи
Сетевые атаки являются одной из причин аномальных явлений наблюдаемых в работе сетевого оборудования, а также при передаче трафика по сетевым каналам. Аномалии сетевого трафика могут стать причиной некорректной работы одного каншта или целых сегментов сети, привести к отказу в работе обслуживающего данную сеть оборудования. Основными видами, на которые делятся алгоритмы обнаружения сетевых аномалий, являются: поведенческие и статистические.
При работе поведенческих алгоритмов обнаружения аномалий выполняется составления списков правил, по которым принимаются решения о нарушениях в работе сети. Такие правила чаще всего составляются вручную путем написания скриптовых процедур, которые принимают на вход определенные параметры, чаще всего являющиеся атрибутам и сетевого трафика.
Работа статистических алгоритмов обнаружения аномалий строится на ином принципе. В алгоритмах этого вида применяется подход, при котором заранее неизвестно, какие атаки можно ожидать и какие из действий хостов в сети являются аномальными. Первой стадией работы данных алгоритмов является самообучение с целью построения математической модели взаимодействий между хостами сети. Процесс обучения производится на заранее известном поведении сети и мо-
жет включать в себя синтез статистических функций, оценку законов распределения изменяющихся параметров сети или использование нейронных сетей с целью проведения кластеризации сетевых процессов.
После накопления достаточной статистики в режиме обучения, осуществляется прогноз работы сети в нормальных условиях, при отсутствии аномалий. На следующем этапе, для выявления аномалий разрабатываются и применяются критерии, специфические для применяемого статистического подхода, составляющие классификатор сетевых процессов на нормальные и аномальные.
В отличие от поведенческих алгоритмов, данный подход позволяет производить обнаружение не только сетевых аномалий с заранее известными семантиками или поведением, но и ранее не изученных видов аномалий в автоматическом режиме.
Критерии обнаружения аномалий
В соответствии с вышеизложенным для обнаружения аномалий будем использовать статистический подход. Реализация процесса обучения алгоритма производилась с вычислением коэффициентов решающей статистики по двум критериям: решающей статистики для критерия Фишера для выбросов среднего значения и решающей статистики для критерия Фишера для дисперсионных выбросов.
Как показано в [1, 3,4] решающая статистика для выбросов среднего значения имеет вид:
V* Я
m^i=\aix
IJ
(I)
где п и т - размерности статистических выборок (размеры окон анализа), по которым вычисляется решающая статистика М; а!х и а ¡у - /-е коэффициенты аппроксимации вейвлет разложе-
ния этих выборок на /-.м уровне вейвлет разложения, а / -индекс, соответствующий текущей позиции окон анализа.
В свою очередь, решающая статистика для дисперсионных выбросов имеет вид:
Z, ,=
(2)
п-1
Н0:<т\ ,t,j=a2,t,j
и 2 2
H\:tT\,l,j*<T2,t,j ’
(8)
Блок іахаата Бпо«фильтрации
исходных данных исходных данных
Бпов
форматирования
Б по« задании параметров ■ейалет
Детали
Б по« мйапет-десомпоэиции
где с/п и (¡¡у - коэффициенты детализации этих выборок, ^ и
- средние выборочные значения рассматриваемых выборок.
Соответствующие для них критерии Фишера для выбросов среднего значения и выбросов дисперсии:
А/>^(у1,у2) (3)
2>рр1У 1’у2> (4*
Здесь, Рр{у1,У2) ~ р-квантиль распределения Фишера с у,=п—1иУ2=ттг — 1 степенями свободы. Нулевая и альтернативная гипотеза для критерия Фишера для выбросов среднего значения:
Я0:^1ЛУ=^2,/,У (5)
(6)
где ! и ¿/ч г ^ - математические ожидания для рассматриваемых выборок.
Нулевая и альтернативная гипотеза для критерия Фишера для выбросов дисперсии:
(7)
Ьпо»
обнаружения
Б по« аыапдя результатов
Уро—
Б по« обучения Бло« выбора алгоритма обнаружена Бло* оцей«
алгоритма характеристик
где ^ И) и 1*2 Ь)~ математические ожидания для рассматриваемых выборок.
Структура программного комплекса
В процессе реализации рассмотренного подхода был разработан алгоритм работы программного комплекса, реализующего задачу анализа входных данных (захваченных коэффициентов сетевого графика) путем применения к ним дискретного вейвлет преобразования (ДВП). Процесс «обучения» алгоритмов распознавания аномалий сетевого трафика и применения данных критериев можно свести к определению пороговых значений при наличии и отсутствии аномалий в наблюдаемом сетевом трафике.
Основные блоки функционирования разработанного комплекса представлены на блок-схеме на рис. 1.
Входные данные в виде 1Р пакетов сетевого графика, поступающие с устройства ввода, переходят в «Блок захвата исходных данных» (1), который содержит программное обеспечение, с помощью которого осуществляется запись данных о сетевых пакетах на хранитель информации. Сохраненная информация поступает на вход «Блока фильтрации исходных данных» (2), в котором осуществляется отбор данных по заданному критерию (фильтрация 1Р пакетов трафика с заданием границ временного интервала).
Рис. 1. Блок-схема алгоритма работы ПО для обнаружения аномалий в сетевом трафике
Данные, полученные на выходе блока фильтрации (2) поступают на вход «Блока форматирования исходных данных» (3), где происходит их дискретизация по времени с заданным временным шагом, а также форматирование их представления (удаление временных меток).
В «Блоке задания параметров вейвлет декомпозиции» (4) устанавливаются параметры дальнейшей обработки: размеры окон И''), IV2 и значение параметра Alpha. В «Блоке вейвлет декомпозиции исходных данных» (5) происходит разложение исходных данных, захваченных каждым из двух окон, с помощью вейвлет системы. В результате формируются последовательности аппроксимирующих и детализирующих коэффициентов, анализ которых осуществляется в блоке оценки статистических характеристик (6). На выходе блока оценки принимается решение о выборе алгоритма обнаружения аномалии («Блок выбора алгоритма обнаружения» (7)) в зависимости от вида функции распределения вейвлет коэффициентов и коэффициента корреляции.
После выбора алгоритма обнаружения осуществляется процесс обучения алгоритма в «Блоке обучения алгоритма» (8), на основе анализа собранной статистики, соответствующей выбранному алгоритму критерия. Обучение происходит в процессе движения окон IV,, W2 по участку графика, не содержащему аномалии.
После окончания обучения алгоритма определяется пороговое значение U„0р в «Блоке определения порогового значения» (9) для выбранного алгоритма обнаружения аномалии. Анализ коэффициентов статистики алгоритма, превышающих порог осуществляется в «Блоке обнаружения аномалий» (10). Результаты анализа, в том числе расчет вероятностей правильного обнаружения Рпо, а также ошибки 1-го рода («ложной гревоги» Рлт), выводятся в графической форме в процессе работы «Блока вывода результатов» (11).
В качестве исходных данных анализировались 8 различных сохраненных трасс сетевого трафика (рис. 2а-ж), полученных из данных DARPA Lincoln Labs. Продолжительность анализируемых трассировок сетевого трафика — до 5 минут с шагом дискретизации 0,1 с.
н
, Li. iJl- 1 J 1 i A, It. -u ^ -.i-.. L ж. л.ь. ■
в) .
L ikli ilMi 1 uriu.il
Ji
lLIl
Flash-crowd
Flash-rrowri
Fraggle
д> I
hJ u
ICMP-flood
-
Ill
ICMP-flood
IA .jjttLiii I1.1 jiii JliL. i, .
Smurf
ж)
M. гш Г
г» 1 |L
• “ ^1 l.llliL 1. ihllifc . j[^_ . Jl.fc JL. - l~ -
UDP-storm
Рис. 2. Исходные трассировки сетевого трафика с атаками
Продолжительности аномалий в данных трассировках варьируются от 20с до 1 минуты. Трассировки содержат сетевые атаки: UDP-storm, SW-flood, SMURF, ICMP-flood, FRAGGLE, FLASHCROWD, имеющие схожие статистические признаки, выражающиеся в изменении среднего значения и дисперсии.
Сравнительный анализ результатов обнаружения аномалий при использовании различных длительностей окон анализа
В результате проведенных исследований, выбранные алгоритмы обнаружения показали хорошие результаты. Так, для трассировки, включающей сетевую атаку SYN-flood (рис. 2а) показатели вероятностей правильного обнаружения Рпо достигали 0,7 при обработке коэффициентов аппроксимации и 0,75 при обработке коэффициентов детализации в соответствии с выбранными критериям Фишера для выбросов в среднем значении и Фишера для выбросов в дисперсии.
Результаты обнаружения аномалий для других трассировок демонстрируют аналогичные цифры, например:
• до Рпо достигала 1,0 при использовании аппроксимирующих коэффициентов и 0,8 при использовании детализирующих коэффициентов трассировки с атакой UDP-storm;
• до Рпо=0,95 при использовании аппроксимирующих коэффициентов и 1,0 использовании детализирующих коэффициентов трассировки с атакой Smurf
• Рпо=0,96 при использовании аппроксимирующих коэффициентов и 0,96 при использовании детализирующих коэффициентов трассировки с атакой с атакой ICMP-flood и др.
В [1,2] отмечалась существенная зависимость результатов обнаружения от соотношений размеров окон анализа с длительностями обнаруживаемых аномалий. В соответствии с этим, был проведен анализ результатов обнаружения аномалий для выбранных сетевых трассировок для нескольких наборов размерностей окон анализа. Для анализа влияния соотношения между размерами окон и самой аномалией размеры окон нормировались в соответствии с соотношением
_ [размер _ окна _ обнаружения] ^9 j
[длительность _ аномалии ] где [размер окна обнаружения] — количество коэффициентов трафика, захватываемых окном на каждом шаге; [длительность аномалии] - количество коэффициентов трафика, входящих в аномалию.
Анализ алгоритмов обнаружения осуществлялся при коэффициентах К-0.8, К=1.0 и К=1.2. Результаты анализа для трассировки с атакой SYN-flood представлены в табл. 1.
Таблица 1
Результаты обнаружения аномалий в сетевой трассировке с атакой SYN-flood для трех наборов параметров окон
Коэффициенты аппроксимации (Фишер для Средних) Коэффициенты детализации (Фишер для Дисперсий)
J масштаб Рпо Рлт % У о а 2? Рпо Рлт
ОС о & о 11 и. сч II и ОО о II и: о II и г-1 II и 00 О II и о и «ч II ОО о II и о, II и <ч &
1 0.15 0.5 0.7 0 0.022 0.028 ! 0.15 0.3 0.75 0.032 0.049 0.315
2 0.1 0.45 0.65 0 0.022 0.067 2 0 0.15 0.35 0 0 0
3 0.1 0.45 0.65 0.005 0.038 0.094 3 0 0.1 0.3 0.005 0 0
4 0.65 0.6 0.086 0.13 4 0.1 0.3 0.011 0.033
На рис. 3 представлены зависимости Рпо для критерия Фишера для выбросов средних значений и критерия Фишера для дисперсионных выбросов от соотношения размера окон к длительности аномалии К.
Из графиков представленных на рис. За видно, что Рпо аномалии растет с увеличением размера окна обнаружения и достигает максимума, когда размер окна становится соизмерим с длительностью самой аномалии.
В то же время, из рис. 36 можно видеть, что при превышении размером окна обнаружения длительности аномалии (коэффициент К = 1,2), увеличивается вероятность ложной тревоги.
В случае трассировки, включающей атаку SYN-flood , при коэффициенте К= 1,2 вероятность Рпо для коэффициентов аппроксимации выросла с 0,2 по сравнению с АГ=1,0 до 0,7, в то время как Рлт увеличилась менее, чем на процент. В тоже время, для коэффициентов детализации вероятность Рпо увеличилась на 0,45 и достигла 0,75, в то время как Рлт выросла с
0,27 до 0,31. Анализ полученных результатов обнаружения для других трассировок показывает, что при увеличении размера окна обнаружения больше, чем длительность аномалии, возможно значительное увеличение уровня ложной тревоги. Так, для трассировки, включающей атаку Smurf, вероятности Рлт увеличиваются в среднем на 0,05-0,1 (для разных уровней разложения) как для коэффициентов аппроксимации так и детализации. Для трассировки, включающей атаку Flash-crowd, Рлт увеличиваются на 0.26-0,28 и 0.01-0,1 (для разных уровней разложения) для коэффициентов аппроксимации и детализации соответственно.
Результаты обнаружения, полученные для набора исходных трассировок, подтверждают вывод, сделанный в [5], о значимости выбора размера окна обнаружения в соответствии с длительностью определяемой аномалии для получения точных результатов.
Рис. 4. Зависимость Рпо, Рлт от коэффициента К при
Сравнительный анализ результатов обнаружения аномалий при использовании различных систем вейвлетов
Исследования показывают, что обнаружение аномалий может производиться с применением различных семейств вейвлет функций и даже вейвлетов других типов (пакетные вейвлеты, биортогональные вейвлеты, комплексные вейвлеты и др.). Для сравнения результатов обнаружения аномалий в исходных трассировках наряду с рассмотренными выше вейвлетами Добеши-6 анализировался вейвлет Хаара.
Результаты анализа для трассировки с атакой SYN-flood при использовании вейвлет Хаара представлены в табл. 2.
Из представленных графиков видна тенденция к увеличению Рпо аномалии при увеличении размера окна обнаружения, как с использованием системы вейвлетов Добеши-6, так для системы вейвлетов Хаара.
На рис. 4а представлены зависимости Рпо для критерия Фишера для выбросов средних значений и критерия Фишера для дисперсионных выбросов, полученные при обнаружении аномалий с использованием системы вейвлетов Хаара. Так, для К = 1,2 на первом уровне разложения была получена Рпо = 0,55 для коэффициентов аппроксимации и Рпо = 0,40 для коэффициентов детализации, когда К = 0,8 дал только Рпо = 0,25 и 0,15 соответственно.
Как видно из рис. 46, для случая трассировки, содержащей атаку SYN-flood, вероятность Рлт, получаемая на 1м уровне разложения, составляет менее 0.01 при всех К > 0,8, а для К = 0,8 она составляет менее 0,05, что гораздо меньше Рлт, полученной при анализе данной трассировки, используя систему вейвлетов Добеши-6. В случае последней, была получена Рлт = 0,31 при К = 1,2 .
0.8 1.0 12
системы вейвлетов Хаара (1-й уровень разложения)
Добеши-6 — — Хаар
Рис. 5. Сравнение характеристик вероятностей правильного обнаружения и ложной тревоги для разных коэффициентов К и вейвлет систем.
Трассировка сетевого трафика с атакой БУК-Поосі
Таблица 2
Результаты обнаружения аномалий в сетевой трассировке с атакой 8У1Ч-Поо<1 для трех наборов параметров окон при применении вейвлет разложения с системой вейвлетов Хаара
Коэффициенты аппроксимации (Фишер для Средних) Коэффициенты детализации (Фишер для Дисперсий)
і масштаб Рпо Рлт Р 3 и СЗ 5 Рпо Рлт
ОО о' II К= 1.0 К= 1,2 оо о' II ъс II и 00 о' 1 II К= 1,2 К= 0,8 К= 1,0 N II ы
1 0.25 0.45 0.55 0.037 0 0 1 0.15 0.15 0.4 0.021 0 0.005
2 0.15 0.4 0.6 0 0 0 2 0.15 0.15 0.3 0.032 0 0
3 0 0.4 0.55 0 0.005 0 3 0.05 0.05 0.2 0.043 0 0
4 0 0.35 0.5 0 0.005 0 4 0.1 0 0.45 0 0 0.055
5 0 0.4 0.45 0 0.005 0 5 0.1 0 0.15 0.037 0.016 0.049
6 0 0.35 0.45 0 0.027 0 6 0 0.15 0.1 0 0.054 0.060
7 0 0.15 0.45 0 0.005 0 7 0 0.35 0.15 0.016 0.139 0.049
что по мере увеличения К достоверность обнаружения аномалии растет. Однако, как видно из рис. 5в и 5г при К>1 значительно возрастает Рлт. Отсюда следует, что соотношение между размером аномалии и размером окна анализа не должно превышать 1,0.
Вейвлеты Добеши во всех рассмотренных случаях дают лучшие результаты по сравнению с вейвлетами Хаара. Вместе с тем в ряде случаев это улучшение незначительно, особенно на уровнях р> 1. Учитывая характеристики вейвлета Добеши при неизменной длительности окна анализа число уровней вейвлет разложения которые могут быть использованы для повышения эффективности обнаружения в случае этих вейвлетов почти в два раза меньше числа уровней разложения при использовании вейвлетов Хаара. В рассматриваемом случае число уровней разложения для вейвлетов Добеши равно 4, в то время как для вейвлетов Хаара оно достигает уже 7.
Выводы
Однако, анализ результатов обнаружения аномалий в других трассировках показывает, что Рлт для обнаружения с использованием системы вейвлетов Хаара соответствует вероятностям, получаемым с вейвлетами Добеши-6.
Анализ характеристик Рпо, представленных на рис. 5а и 56 для коэффициентов аппроксимации и детализации показывает,
Тип базовых вейвлетов слабо влияет на эффективность алгоритмов обнаружения. Соотношение между длительностью аномалии и окном анализа не должно превышать 1. Коэффициенты аппроксимации дают больший эффект в достоверности обнаружения по сравнению с коэффициентами детализации.
Литература
1. Шелухин О.И., Панкрушин A.B. Оценка достоверности обнаружения аномалий сетевого трафика методами дискретного вейвлет-анализа // T-Comm: Телекоммуникации и транспорт, 2013. - №10. -С. 110-115.
2. Шелухин О.И.. Сакалема Д.Ж.. Фітинова A.C. Обнаружение вторжений в компьютерные сети. Сетевые аномалии // Горячая линия - телеком, 2013. - С.220.
3. Шелухин О.И., Гармаиіев A.B. Обнаружение аномальных выбросов телекоммуникационного трафика методами дискретного
The comparative analysis of characteristics of network traffic's anomalies detection with methods of wavelet analysis
Oleg I. Sheluhin, professor, Department of Information Security Moscow Technical Univ of Communication & Informatics, Moscow, Russia, [email protected] Alxander V.Pankrushin, aspirant, Department of Information Secuiity Moscow Technical Univ. of Communication & Informatics, Moscow, Russia,
Abstract
In this paper we are considering analysis of anomaly of network traffic with help of statistical algorithms, that based on methods of online multiple-scale wavelet analysis with using of sliding window for training and detection. As an input data we used 8 different sets of traffic, that were obtained from DARPA Lincoln Labs' data. We analyzed questions of detection of network attacks such as: UDP-storm, SYN-flood, SMURF, ICMP-flood, FRAGGLE, FLASHCROWD, that has similar statistical features that can be shown by change in mean value or variance. With wavelet decomposition of sets of network traffic we obtained two kinds of subsets of wavelet's coefficients (details and approximations). It was shown that anomaly of change in mean value of network traffic can be detected in a specter of approximation coefficients with statistical criteria of F-test for mean values. Similar, change in variance of network traffic can be detected in a specter of details coefficients with statistical criteria of F-test for variance. The learning process has been done with calculation of statistical coefficients for two criterions: F-test for mean value's outbursts and F-test for variance's outbursts. During implementation of considered approach has been developed software package that implements the task of analyzing the input data (that is the sequence of captured traffic coefficients) using discrete wavelet transform (DWP). The process of detection of network traffic anomalies and implementation of suggested algorithm of anomalies detection using statistical criterions could be reduced to calculation of threshold values within and without anomalies in processed network traffic. We have shown that probabilities of correct detection and false alarm depend on relation between anomaly's behavior (fast/normal/slow) and level of wavelet decomposition. Considering of obtained results we are making the conclusion about possibility of using developed algorithms with using online wavelet analysis for detection of anomalies in network traffic, that relates to different sorts of network attacks.
Keywords anomalies the network traffic; detection methods; wavelet decomposition; coefficients detailed and approximation.
References
1. Shelukhin O.I., Pankrushin AV. Assessing the reliability of network traffic anomaly detection methods discrete wavelet analysis / T- Comm: Telecommunications and transport, No 10, 2013, pp 110-115.
2. Shelukhin O.I., D.Zh.Sakalema, Filinova AS. Intrusion detection in computer networks. Network anomalies / Moscow, 2013, pp 220.
3. Shelukhin O.I., GarmashevAV. Detection of anomalous emission of telecommunications traffic methods discrete wavelet analysis / Electromagnetic waves and electronic systems, No2, 2012, pp 15-26.
4. Sheluhin O.I., Pankrushin AV Measuring of Reliability of Network Anomalies Detection Using Methods of Discrete Wavelet Analysis / Science and Information (SAI), Conference in 2013, London, UK, pp 393-397.
5. Pankrushin AV Assessing the reliability of detection of abnormal traffic emissions multiresolution methods on-line wavelet analysis / Proceedings of conference on 'Telecommunication and Computer Systems" MTUCI, 2013, pp 128.
вейвлет-анализа // Электромагнитные волны и электронные системы. 2012.-№2,-С. 15-26.
4. Sheluhin O.I.. Pankrushin А. V. Measuring of Reliability of Network Anomalies Detection Using Methods of Discrete Wavelet Analysis // Science and Information (SAI). Conference 2013. London, UK. pp.393-397.
5. Панкрушин А.В. Оценка достоверности обнаружения аномальных выбросов трафика методами кратномасштабного on-line вейвлет анализа // Труды НТК “Телекоммуникационные и вычислительные системы”, МТУСИ, 2013.-С. 128.
