Выявление аномальной активности в сети методами статистического анализа заголовков IP-пакетов Текст научной статьи по специальности «Компьютерные и информационные науки»

УДК 519.254, 004.056

ВЫЯВЛЕНИЕ АНОМАЛЬНОЙ АКТИВНОСТИ В СЕТИ МЕТОДАМИ СТАТИСТИЧЕСКОГО АНАЛИЗА ЗАГОЛОВКОВ IP-ПАКЕТОВ

© 2010 г Г.В. Карайчев, В.А. Нестеренко

Южный федеральный университет, Southern Federal University,

ул. Мильчакова, 8а, г. Ростов н/Д, 344090 Milchakov St., 8a, Rostov-on-Don, 344090

Рассматривается теория и практика метода выявления аномальной активности на основе адаптивного построения профиля нормального состояния системы, в качестве характеристики которой используется распределение потока пакетов по IP-адресам. На основе соответствующих критериев согласия решается вопрос о мере расхождения между характеристиками нормального и аномального состояния системы. Приводится пример практического использования предлагаемого метода.

Ключевые слова: выявление аномалий, обнаружение вторжений, сетевая безопасность, анализ сетевого трафика.

The article provides information on theory and practice of unsupervised anomaly detection. It's suggested weight function method for computation local and global characteristics of network traffic. The paper touches upon divergence rate between this characteristics using fitting criterions. It's also given evaluation of effectiveness of suggested method.

Keywords: anomaly detection, intrusion detection, network security, network traffic analysis.

Современные методы обнаружения сетевых вторжений базируются на сигнатурном анализе и методах выявления аномалий [1]. Суть первого метода заключается в том, что характеристики состояния сети сравниваются с образцами (сигнатурами), содержащими признаки атаки. У сигнатурных методов обнаружения вторжений есть существенный недостаток: невозможность выявления новых типов атак, признаки которых не содержатся в заранее сформированной базе данных сигнатур. Это связано с тем, что сигнатуры, соответствующие новым типам атак, формируются и заносятся в базу признаков атак только после (зачастую успешных) попыток нарушения безопасности. Указанные ограничения сигнатурных методов могут быть устранены при дополнении их методами выявления аномальной активности. При этом подходе предполагается, что для любой системы существует нормальное состояние, и любые значительные отклонения её текущего состояния от нормального могут быть признаками вероятной атаки. В технологиях выявления аномальной активности можно выделить два

подхода: supervised - управляемого построения профиля нормального состояния системы; unsupervised -адаптивного (самостоятельного) построения профиля системы в процессе самообучения.

В 1-м случае профиль нормального состояния системы строится на основе свободного, очищенного от нарушений потока пакетов, во 2-м - на основе необработанного набора данных, возможно содержащего атаки. Применение методов выявления аномальной активности на основе самостоятельного построения профиля возможно в случае выполнения 2 условий: базовый профиль построен на основе набора данных, в котором количество нормальных событий значительно превышает количество аномальных; набор данных, содержащий атаку, статистически отличается от набора данных, соответствующего нормальному состоянию.

В предлагаемой статье, аналогично работам [2-4], для выявления аномальной активности используется адаптивный метод построения базового профиля, основанный на сравнении текущих (локальных) характеристик потока пакетов с соответствующими харак-

теристиками, усреднёнными за продолжительный промежуток времени (глобальными). Так как для вычисления глобальных характеристик используется большой интервал времени, то в соответствии с предположениями метода вклад аномалий в этом случае будет незначительным. Таким образом, будет обойден серьезный недостаток, присущий подходу на основе управляемого построения, выражающийся в требовании кропотливой работы по фильтрации и очистке исходного набора данных от аномалий. Используемый в работе подход позволяет обнаруживать «ненормальное» поведение системы и определять возможные атаки без знания их конкретных деталей и собирать информацию, которая в дальнейшем может быть использована в системах обнаружения атак на основе сигнатурного анализа.

В настоящей работе в качестве характеристики потока пакетов в сети используется распределение пакетов по 1Р-адресам источников. Будем считать, что в момент времени, соответствующий поступлению Ы-го пакета, имеются данные о частотах распределения XI последних п пакетов по адресам источников. Упорядочим эти частоты по убыванию и полученный вариационный ряд

Хм)=(хрх2 ,..,хт) (1)

будем использовать как характеристику текущего состояния сети.

В качестве глобальной характеристики нормального состояния системы используется вектор состоящий из компонент вектора (1), усредненных за некоторый промежуток времени:

1

N

(k)

Y,=--Z

nG k=N-nQ+1

(2)

N l \

y. = ZF((N-k)/Tg)• xf).

k=1

(3)

ве весовой функции использовать в -функцию

F(г)= — • в(1 -7/п0), то вернёмся к формуле (2).

по

Подходящий выбор весовой функции Е(г) позволяет использовать рекурсивные формулы для вычисления характеристик ^ : при нахождении компонент вектора У(ж) используются ранее найденные компоненты вектора У(Ж -1) и характеристики х\м) нового пакета, таким образом нет необходимости хранить информацию о большом числе последних событий в системе. Графики весовых функций

, ч 1 - (z / T))

F(z / T)= •£-—-

ks j=0 j!

FB (z / t ) = 1

t

1 + Z

sinl П

• exp(- z / t ),

Л

r(2j + l)

= f(2j + l)

предложенных в

[6, 7], и график в -функции для сравнения приведены на рис. 1.

где х(к) = {0,1}- вклад события с номером к в компоненту X, вектора х(ж).

Величину п , задающую интервал усреднения в формуле (2), следует выбирать, с одной стороны, по возможности большой (п0 >> п), чтобы уменьшить вклад случайных изменений локальных характеристик, а с другой - не больше характерного масштаба времени, определяемого систематическими, регулярными изменениями характеристик потока пакетов в сети. Эти изменения могут быть связаны с разной загруженностью сети по дням недели или в течение суток и т.п.

Вычисление усреднённых характеристик ^ требует наличия информации о последних п0 событиях. По этой причине пересчёт новых значений ^ по формуле (2) при поступлении нового пакета может быть неэффективным с точки зрения программной реализации. Для решения этой проблемы можно использовать метод весовых функций, предложенный в [5-7]. Для вычисления компонент вектора \(ы) введём весовую функцию ^(г) и вместо (2) будем использовать формулу

Рис. 1. Графики весовых функций

Параметр т = кпа зависит от конкретного вида весовой функции и задает количество событий, учитываемых при вычислении усреднённого значения (3).

Для примера практического применения предлагаемого метода выявления аномалий использованы данные, полученные в локальной вычислительной сети одного из факультетов Южного федерального университета (рис. 2).

8П

60

40

70

□ I

глобальная

локальная

И 111,1,1111 у,

Соответствующий выбор функции Е (г) позволяет из последовательности N событий выделить подпоследовательность нужного размера. Так, если в качест-

1 2 3 4 5 S 1 8 9 1011121314151617161920

Рис. 2. Глобальная и локальная характеристики распределения потока пакетов в сети по 1Р-адресам

При построении локальной и глобальной функций распределения пакетов по адресам источников использовано п= 150 и п0 = 4500 пакетов соответственно. Представленные гистограммы являются характерным профилем для небольшой локальной сети.

V

/

Рассмотрим вопрос о мере расхождения локальной и глобальной характеристик потока пакетов в сети. Предполагаем, что при нормальном состоянии сети в отсутствие аномалий функции распределения Х(м) = (X,Х2,..,Хт) и У(м) = (ад,..,Ут) соответствуют одной и той же истинной функции распределения (нулевая гипотеза). В этом случае отклонение частот XI от У] объясняется случайными причинами. В качестве меры расхождения между распределениями X и У будем использовать критерий согласия Пирсона

* (*ь - Л )2

х2 = Z

(4)

ь=1 Уь

Для этого распределим частоты У] по 6 группам у ,1 < Ь < 6 . Границы групп будем выбирать таким образом, чтобы количество пакетов в разных группах уь было по возможности одинаково. Частоты X^ распределим по группам хъ, 1 < Ь < 6 с такими же границами (рис. 3).

глобальная локальная

2,3 Ц5 6-9 10-16 17-.,.

Рис. 3. Распределение частот Хг (У ) по группам Хь (Уь), 1 < Ь < 6

Номера компонент векторов X^ и У.] , соответствующие группам хь и уь , приведены на рис. 3. В 1-ю группу (Ь = 1) попадают компоненты У1 и X1, во 2-ю (Ь = 2) -У2,У3 и X2^3 и т.д.

Так как компоненты У(м) вычисляются как

арифметические средние для большого числа событий, то, согласно закону больших чисел, величины уЬ , нормированные соответствующим образом, близки к вероятностям рЬ попадания адреса пакета в данную группу Ь . Это отвечает тому, что при возрастании величины выборки па статистическое распределение У(м) = (У[,У2,.,Ут ) стремится к гипотетическому истинному. По этой причине можно считать, что статистика (4) подчиняется стандартному х2 -распределению с 5 степенями свободы и можно воспользоваться табличными значениями х2 функции распределения вероятностей для оценки достоверности гипотезы об отсутствии аномалий при заданном уровне значимости.

В общем случае уровень значимости характеризует чувствительность системы обнаружения вторжений к изменениям состояния системы. Он позволяет задавать величины отклонений локального распределения от глобального, которые считаются допустимыми и, с известной долей вероятности (близкой к единице),

атакой не являются, в процессе функционирования сетевого узла. Уровень значимости в каждом конкретном случае задается индивидуально, сообразуясь с множеством факторов: загруженностью сети, критичностью защищаемых данных и пр. Для определенности выберем уровень значимости а = 0,01. Тогда вероятность того, что в отсутствии аномалий величина X2 (4) превысит пороговое значение х001 ~ 15,1,

равна 0,01: р(х2 > х2, 01)= 0,01. Другими словами, если величина х2 , вычисленная по формуле (4), превышает пороговое значение х0,01, то с вероятностью 0,99 это вызвано несовпадением функций распределения для выборок Х(м), У(м) и, следовательно, присутствием аномалии для п последних событий в сети.

В общем случае расхождение между локальной и глобальной характеристиками или невелико, и тогда гипотеза о совпадении распределений Х(м) = (Xl,X2,.,Xm) и У(м) = (У1,У2,.,Ут) прини-

2

мается, или критерий согласия х попадает в критическую область, и гипотеза отвергается. Заметим, однако, что разбиение на группы хЬ и уЬ можно производить произвольным образом (в известных пределах). В случае подтверждения нулевой гипотезы может оказаться, что существует некоторая другая функция распределения, отличающаяся от данной, и приводящая к тем же значениям рЬ , что и проверяемая функция распределения.

На рис. 4 представлен фрагмент графика функции X в момент flood-атаки (область L1), демонстрирующий использование критерия согласия Пирсона по выборкам Х(м) и У(м) для анализа потока пакетов в реальной сети. Фоновый график показывает величину временного интервала между соседними пакетами и приведён для качественной оценки используемого метода.

X

Рис. 4. Использование критерия согласия Пирсона по выборкам Х(м) и У(м)

Горизонтальная пунктирная линия обозначает граничное значение х2 критической области, соответствующее уровню значимости а = 0,01. Некоторое запаздывание в выявлении атаки (пик 1) наблюдается в ситуации, когда на графике временных интервалов между пакетами уже видны признаки возможной

Аоо^атаки, а значение величины х2 еще находится вне критической области (левая часть области L1). Только после получения ещё нескольких пакетов (в

зависимости от размера выборки Х(ы)) х2 выходит

за пределы границы х! • Когда же возможная Аоо^ атака пресечена или прекращена, что на графике соответствует началу зоны L2, критерий х2 продолжает оставаться в критической области. Фактически при этом совершается ошибка 2-го рода, т.е. отвергается верная гипотеза о том, что локальная функция распределения соответствует глобальной. Подобное запаздывание является неизбежным и связано со статистической природой используемых характеристик системы.

2-й пик не связан с flood-атакой, а соответствует аномальному состоянию системы, обусловленному некоторой другой причиной (область L2). Следует

2

отметить, что изменение величины х не всегда очевидным образом связано с графиком временных интервалов между пакетами. Так, например, в случае распределенных сетевых атак интервалы между пакетами могут существенно не отличаться от среднестатистических. Тем не менее локальная характеристика распределения по 1Р-адресам не будет совпадать с глобальной: х2 будет попадать в критическую область. В общем случае при надлежащем выборе параметров критерий согласия х показывает высокую чувствительность к нехарактерным изменениям трафика и служит хорошим дополнением к любой системе анализа сетевой безопасности.

При использовании критерия согласия Пирсона для проверки соответствия между гипотетическим и фактически наблюдаемым распределениями может возникать существенная зависимость от объединения результатов наблюдений в группы, что ведет к некоторой потере информации, содержавшейся в исходных данных. Этот факт заставляет нас осторожно относиться к показаниям 2

критерия х и вынуждает дополнять его показаниями других критериев, в частности, критерием согласия Колмогорова-Смирнова. Для этого нормируем используемые выборки Х(ы) (1) и У(ы) (2)

(5)

(6)

пределения Е;- и поэтому может быть использована в

качестве приближения к Е;- [8].

Для оценки отклонения локальной характеристики от глобальной в этом случае используем статистику

Колмогорова Кп = Бп -4п , где Бп =

: max\fJ - FX

1< j<m

J

' J

Напомним, что величина п определяет число пакетов, по которым строится выборка Х(ы). Если Кп превысит некоторое заданное пороговое значение К0 , то это будет свидетельствовать о неверности выдвинутой гипотезы относительно совпадения (при заданном уровне значимости) функций распределения Х(ы) = (Х,Х2„.,Хт) и У(ы) = (ад,-.Гт) - локальной и глобальной характеристик состояния системы.

На рис. 5 представлен график, демонстрирующий использование критерия согласия Колмогорова для выборок XX(ы) (5) и У(ы) (6). При построении графика выбран уровень значимости а = 0,01, для которого пороговое значение К0 = Х001 = 1,63 (пунктирная

линия). Анализ проводился в момент вероятной flood-атаки. Фоновый график, как и ранее, показывает изменение временного интервала между соседними пакетами. Он представлен для качественной оценки используемого метода.

X (ы)=(~1, . . ;~т), где Х,=Х, / £Хг

=1

У (ы) = (~ ,.7т ), где ¥,=¥, / £ у..

1=1

и определяем Е/Х = £ X. , Еу = £ у .

1=1 1=1

По смыслу величины ЕХ и Еу являются выборочными функциями распределения: Е/ =Р(х е[1, /]) -

вероятность того, что адрес нового пакета попадает в интервал адресов [1,/].

Так как Е у строится по выборке большого размера, то в силу закона больших чисел Еу ^ Е/ (ЕУ сходится по вероятности к Е ) и, в соответствии с теоремой Гливенко, выборочная функция распределения Еу равномерно сходится к истинной функции рас-

Рис. 5. Использование критерия согласия Колмогорова для выборок XX (Ы ) и У (Ы )

Как видно из рис. 5, существует некоторое «запаздывание» реакции метода на flood-атаку. Однако, как и ранее, это запаздывание составляет небольшой интервал времени и существенно не влияет на эффективность и чувствительность применяемого метода.

Не существует универсального критерия, который мог бы быть использован как самодостаточный при анализе сетевого трафика и позволял бы обнаруживать любую атаку. Поэтому в современных системах обнаружения вторжений используют комбинации различных методов. Это позволяет уменьшить число ложных срабатываний и повысить чувствительность системы. В настоящее время анализ аномалий часто используется как вспомогательный для сигнатурного анализа. Обработку предупреждений системы обнаружения аномалий и выход различных характеристик в критическую область обычно производит эксперт. В этой связи большая ценность - возможность снижения количества ложных срабатываний. Очевидно, что вероятность ложной тревоги тем ниже, чем больше характеристик одновременно попали в критическую

зону, т.е. при согласованной тревоге по нескольким критериям можно уменьшить число ошибок 2-го рода. Многокритериальный подход позволяет уменьшить число ошибок не только 2-го, но и 1 -го рода.

На рис. 6 представлены результаты совместного использования рассмотренных выше критериев согласия Пирсона и Колмогорова-Смирнова. Графики обоих критериев реагируют достаточно согласованно, что увеличивает вероятность того, что выявленная аномалия является реальной атакой.

N

Рис. 6. Результаты совместного использования рассмотренных выше критериев согласия Пирсона (1) и Колмогорова-Смирнова (2)

Литература

1. Ghosh A.K., Schwatzbard A., Shatz M. Learning Program Behavior Profiles for Intrusion Detection // Proceedings of the 1st USENIX Workshop on Intrusion Detection and Network Monitoring. Santa Clara, CA, 1999. Р. 1-13.

2. Kwitt R. A Statistical Anomaly Detection Approach for Detecting Network Attacks // 6QM Workshop. Salzburg, 2004. Р. 1-7.

3. Feinstein L., Schnackenberg D. Statistical Approaches to DDoS Attack Detection and Response // Proceedings of the DARPA Information Survivability Conference and Expostion (DISCEX'03). Washington, 2003. Р. 1-12.

4. Mahadik V.A., Wu X., Reeves D.S. Detection of Denial-of-

QoS Attacks Based On x 2 Statistic And EWMA Control Charts. URL: http://arqos.csc.ncsu.edu/papers/2002-02-usenixsec-diffser-vattack.pdf (дата обращения: 25.05.2009).

5. Нестеренко В.А. Статистические методы обнаружения нарушений безопасности в сети // Информационные процессы. 2006. Т. 6, вып. 3. С. 208-217.

6. Нестеренко В.А. Использование весовых функций при определении статистических характеристик потока пакетов в сети // Изв. ЮФУ. Технические науки. Тематический выпуск. Информационная безопасность. 2007. № 1. С. 117-122.

7. Карайчев Г.В., Нестеренко В.А. Применение весовых функций для определения локальных статистических характеристик потока пакетов в сети // Изв. вузов. Сев.-Кавк. регион. Естеств. науки. 2008. № 1. С. 10-14.

8. Гнеденко Б.В. Курс теории вероятностей. М., 1961. 448 с.

Поступила в редакцию_15 июня 2009 г.