CC BY
38Схема адаптивного агрегирования для кластеризации данных сетевого трафика*
Коноплев В.В. fwk@iki.rssi.ru ), Захаров Д.Ю., Боярский М.Н., Назиров Р.Р.
Институт Космических Исследований РАН
Детализированная сетевая статистика является эффективным и популярным средством учета и анализа сетевого трафика. Традиционный подход к сбору данных сетевого трафика с фиксированным уровнем детализации приводит к неизбежному поиску компромисса между желаемой точностью измерений и допустимым объемом собираемых данных.
В статье представлен метод адаптивного агрегирования, который позволяет динамически настраивать уровень детализации информационных потоков в зависимости от степени их сетевой активности, а также степени активности их конечных точек. Это позволяет значительно снизить количество записей, производимых системой сбора данных без заметного уменьшения средней точности измерений.
Метод программно реализован на базе известного измерителя NeTraMet (RFC2722). При испытаниях системы на потоке данных с международного канала магистральной научно-образовательной сети RbNET были получены интересные результаты, представленные в данной работе.
I ВВЕДЕНИЕ
Задачи мониторинга и анализа сетевого трафика являются важной составной частью современных систем управления телекоммуникационными сетями. Решаться эти задачи могут на разных уровнях, начиная от мониторинга интегральной загрузки сетевых интерфейсов и заканчивая анализом пакетов, собранных с «сенсоров», встроенных в критические участки исследуемой сети.
В настоящее время широкое распространение получили методы, основанные на сборе и обработке детализированной сетевой статистики [1], [2], [3]. В этом случае множество наблюдаемых пакетных заголовков агрегируется по схожим признакам в так называемые информационные записи, которые в дальнейшем и являются предметом анализа. Такой подход сочетает хорошую масштабируемость с подробной информацией о структуре потоков данных в исследуемой сети и позволяет решать целый ряд задач как исследовательского, так и административного характера.
Традиционные способы сбора детализированной сетевой статистики используют фиксированный уровень грануляции данных. В этом случае объем собираемой статистики может оказаться довольно большим и, более того, плохо предсказуемым. Например, обычный сканирующий вирус способен привести к многократному увеличению числа активных потоков и, как следствие, блокировать работу всей измерительной системы. Типовое решение, связанное с уменьшением детализации собираемых данных, неизбежно ухудшает точность измерительной системы и не всегда позволяет достичь желаемого результата.
* Работа поддержана Российским фондом фундаментальных исследований, грант 02-07-90390(в).
Другие способы устранения перегрузки связаны с технологией выборочных измерений [4] и ее модификациями [5]. Однако, здесь мы сталкиваемся с неизбежной потерей данных и сложностью оценки ошибки.
Весьма привлекательно выглядит использование динамической кластеризации данных сетевого трафика. В настоящий момент в научном сообществе наблюдаются попытки решения данной задачи. Так, в работе [6] представлен инструмент для автоматического профилирования сетевого трафика по одному из критериев: адрес источника, адрес получателя, или пара портов. В работе [7] приводятся аргументы в пользу кластеризации по произвольной совокупности сетевых атрибутов, однако авторы ограничиваются одной постановкой задачи без ее решения.
Традиционные методы кластеризации плохо подходят к задачам обработки данных сетевого трафика в режиме реального времени в силу следующих требований:
1) высокие требования к производительности метода;
2) высокая размерность данных;
3) необходимость инкрементального обновления структуры кластеров при поступлении новых данных;
4) невозможность хранить первичные данные в исходном виде в силу больших объемов последних.
В данной работе рассматривается специальный метод адаптивного агрегирования, применимый для кластеризации данных сетевого трафика в режиме реального времени. В отличие от большинства стандартных методов кластеризации он не использует глобальную оптимизацию, т.е. не связан с поиском экстремума целевой функции. Тем не менее данный метод имеет очень вычислительные затраты и дает результаты вполне приемлемые для практического использования.
В отличие от традиционных схем агрегирования, где детализация данных изначально жестко задана или определяется значениями адресных атрибутов, наш метод адаптирует уровень детализации в соответствии с активностью сетевых взаимодействий.
II СХЕМА АДАПТИВНОГО АГРЕГИРОВАНИЯ
А. Модель данных
В нашей модели мы оперируем понятием сетевого элемента, под которым мы понимаем абстрактный источник или получатель данных. Примерами сетевых элементов могут быть конечные сетевые адреса, адресные блоки или автономные системы.
Мы предполагаем, что сетевые элементы имеют иерархическую структуру. Сетевой трафик рассматривается как совокупность потоков между различными элементами иерархии.
По аналогии с [2], мы рассматриваем сетевой поток, как совокупность пакетов между выделенными сетевыми элементами в переделах заданного временного промежутка.
Временные компоненты мы далее для простоты рассматривать не будем. В этом случае поток может быть формально представлен в виде:
[Src, Dst, Counters],
где: Src - сетевой элемент источника, представленный совокупностью атрибутов источника.
Dst - сетевой элемент получателя, представленный совокупностью атрибутов получателя.
Counters - совокупность счетчиков потока.
Множество потоков, описывающих сетевой трафик, обладает следующими свойствами:
1. Данные в потоках не дублируются, т.е. каждый отдельный пакет может принадлежать только одному из них.
2. Суммирование по всем потокам дает полный трафик исследуемой сети.
Заметим также, что данные могут быть распределены по потокам произвольным образом. Пакеты, попадающие в диапазон более специфичного потока, могут принадлежать менее специфичному потоку.
Рис. 1 показывает пример воображаемой иерархии сетевых элементов с множеством потоков. Отношения подчиненности в иерархии показаны сплошными ломаными линиями. Сплошные жирные линии показывают реальные потоки трафика, зарегистрированные системой. Прерывистая линия указывает наличие взаимодействия между элементами, которое реально представлено (сплошными линиями) на других уровнях иерархии.
(^10.0.0
Рис. 1. Взаимодействия между элементами адресной иерархии.
Могут рассматриваться варианты модели с однонаправленными или двунаправленными потоками. В первом случае счетчики учитывают пакеты, идущие от источника до получателя. В последнем случае добавляются счетчики, учитывающие пакеты в обратном направлении.
В. Механизм агрегирования потоков
Ниже описываются алгоритмы формирования потоков. Предполагается, что на вход системы поступают потоки с наибольшей детализацией. На выходе системы получаются потоки с разной детализацией. Цель операции заключается в том, чтобы выделить в потоках активные взаимодействия между сетевыми элементами.
В.1 Базовая схема
В нашем методе мы вводим следующие понятия:
1. Весовая функция, определяющая «значимость» потока. Она может монотонно зависящая от количества пакетов, байтов, времени жизни и текущих уровней иерархии потока.
2. Весовой порог - критическое значение весовой функции.
3. Временной порог - максимальный возраст потока (время, прошедшее от момента его создания).
4. Таблица потоков - временное хранилище записей о потоках.
5. Пересчет потока - процесс, в котором поток удаляется из таблицы, интерпретируется как исходные данные и агрегируется на более высоких уровнях адресной иерархии.
6. Экспорт потока - процесс, в котором поток удаляется из таблицы и поступает на выход системы.
Потоки формируются по следующей схеме:
1. Новые данные участвуют в формировании или обновлении потоков на нижнем уровне с максимальной детализацией.
2. Потоки, не достигшие временного порога, остаются в системе и обновляются при поступлении новых данных.
3. Потоки, достигшие временного и весового порогов, считаются «готовыми» и экспортируются.
4. Потоки, достигшие временного порога и находящиеся на верхнем уровне адресной иерархии также, считаются «готовыми» и экспортируются.
5. Если временной порог достигнут, а весовой нет, то поток пересчитывается на более высоком уровне иерархии. Пересчет потоков может происходить в одном из двух режимов:
я. Симметричный режим. Оба взаимодействующих сетевых элемента потока заменяются своими родителями в иерархии.
b. Асимметричный режим. Заменяется только наименее активный
элемент. Наиболее активный элемент остается. При этом источник и получатель могут быть посчитаны на разных уровнях иерархии.
Преимущество асимметричного режима, как будет продемонстрировано далее, заключается в лучшем конечном результате агрегирования. В то же время симметричный режим требует ощутимо меньших вычислительных затрат.
Базовая схема ограничивает сверху скорость формирования новых записей. Если полная пропускная способность сети составляет N bytes/sec, а весовой порог равен M bytes, то максимальна скорость экспорта данных будет C = N/M records/sec.
B.2 Схема с ограничением размера хранилища
В базовой схеме таблица потоков рассматривается как временное хранилище. Потоки, достигшие весового порога, экспортируются наружу, а не достигшие - пересчитываются с более низкой детализацией.
Мы можем рассматривать таблицу потоков и как постоянное хранилище данных. В этом случае функция экспорта и весовой порог будут отсутствовать, а алгоритм агрегирования преобразуется следующим образом:
1. Новые данные участвуют в формировании или обновлении потоков на нижнем уровне с максимальной детализацией.
2. Потоки, не достигшие временного порога, остаются в системе и обновляются при поступлении новых данных.
3. При приближении размера хранилища к максимально допустимому, потоки, достигшие весового порога, начинают пересчитываться в порядке увеличения весовой функции.
B.3 Схема с дополнительным агрегированием по времени
Для дополнительного агрегирования по времени временная компонента тоже должна быть организована иерархически. Далее необходимо выработать стратегию очередности между агрегированием по времени и агрегированием по адресам. Как вариант можно рассмотреть следующий алгоритм:
1. На каждом временном уровне i задается пороговое время Ti.
2. Если текущая запись должна быть пересчитана, то ее возраст сравнивается с пороговым временем Ti. Если возраст записи больше времени Ti, то происходит временное агрегирование, иначе - адресное.
Пример: предположим, что мы задали два уровня временной иерархии - по часам и дням. Если для часового уровня задать порог Ti равный семи дням, то при пересчете часовых записей, те из них, которые имеют возраст более семи дней, будут преобразовываться в суточные, а остальные - агрегироваться по адресам.
III ОСОБЕННОСТИ РЕАЛИЗАЦИИ
A. Архитектура
Метод адаптивного агрегирования реализован в универсальном демоне сбора данных (ntmd), представляющем собой расширение измерителя NeTraMet (версия 4.3).
Функциональная схема нового измерителя показана на Рис. 2. Исходные данные направляются в «модуль обработки» (packet matching engine), где обрабатываются специальным псевдокодом (ruleset). Текущие сетевые потоки сохраняются в таблице потоков (flow table). Конструктивным новшеством здесь является внутренний коллектор (internal collector), работа которого описана далее.
Таблица потоков может считываться внешним приложением (по протоколу SNMP) или внутренним коллектором. Внутренний коллектор периодически просматривает таблицу потоков. В обычном режиме он экспортирует все данные на локальный диск. В режиме адаптивного агрегирования внутренний коллектор работает по схеме, описанной в пункте
Иерархия сетевых элементов может быть произвольной, она определяется текущим псевдокодом, агрегирующим данные. Для идентификации уровней иерархии используются специальные атрибуты БоигсеК1^ и В дальнейшем мы будем называть их
индикаторами. Индикаторы могут принимать значения от 1 до N (значение N определяется текущим псевдокодом) в порядке понижения уровня иерархии. Новые данные формируют потоки с максимальной детализацией и значениями индикаторов равными N.
Если внутренний коллектор встречает поток, который должен быть пересчитан, он копирует его в буфер, удаляет из таблицы, уменьшает в потоке один или оба индикатора и направляет его обратно в модуль обработки. Псевдокод по заданным значениям индикаторов определяет, с какой детализацией агрегировать концы потока.
IIB.1.
Рис. 2. Архитектура измерителя.
B. Сравнение активности концевых элементов потока
Адаптивное агрегирование в асимметричном режиме предполагает сравнение интегральных активностей концевых элементов потока. Активность элемента оценивается по полному трафику, связанному с этим элементом и накопленному в таблице потоков. Для этого используются вспомогательные потоки.
С учетом индикаторов сетевой поток может быть представлен как: [[SourceKind, Src], [DestKind, Dst], Counters]
Каждый раз при обновлении счетчиков потока, обновляются и счетчики связанных с ним вспомогательных потоков. Для этого в модуль обработки направляются следующие данные:
[[SourceKind, Src], [1, Dst], Counters]
[[1 , Src], [DestKind, Dst], Counters]
В первом вспомогательном потоке будут замаскированы атрибуты получателя (Dst), поскольку индикатор DestKind=1. Поэтому его счетчики посчитают трафик всех обычных потоков с атрибутами источника попадающими в Src. Значение весовой функции этого потока и есть оценка активности источника Src. Аналогично для получателя Dst.
На Рис. 3 показан один обычный поток (между адресными блоками 20.0.0.0 и 30.0.0.0) и два связанных с ним вспомогательных потока, обозначенные прерывистыми линиями.
При удалении обычного потока из таблицы счетчики связанных с ним вспомогательных потоков уменьшаются на величину счетчиков обычного потока.
Вспомогательные потоки используются только для внутренних целей. Они не экспортируются, не пересчитываются и удаляются только в том случае, если значение их счетчиков обращается нуль (т.е. нет ни одного связанного ними обычного потока).
Рис. 3 Вспомогательные потоки.
С. Написание псевдокода
На Рис. 4 показан пример псевдокода для реализации адаптивного агрегирования. Он использует два уровня адресной иерархии:
1. По блокам /24.
2. По адресам.
Исходные данные поступают на обработку с нулевыми значениями индикаторов SourceKind и DestKind. Если программа обнаруживает нулевое значение индикатора, она выставляет его на максимальное значение равное двум (строки 2 и 10). Если значение индикатора SourceKind равно 2, то управление передается на метку SLevel_2 и просходит детализация источника «по адресам». Если значение индикатора SourceKind равно 1, то управление передается на метку SLevel_1 и выполняется детализация «по блокам /24». Аналогично происходит обработка индикатора DestKind.
1. RULES
2. SourceKind & 255 = 0: GotoAct, Next;
3. SourceKind & 255 = 2: PushtoAct, SLevel 2;
4. SourceKind & 255 = 1: PushtoAct, SLevel 1;
5. SLevel 2:
6. SourcePeerAddress & 255.255.255.255 = 0: PushPktTo, IP dest;
7. SLevel 1:
8. SourcePeerAddress & 255.255.255.0 = 0: PushPktTo, IP dest;
9. IP Dest:
10. DestKind & 255 = 0: GotoAct, Next;
11. DestKind & 255 = 2: PushtoAct, DLevel 2;
12. DestKind & 255 = 1: PushtoAct, DLevel 1;
13. DLevel 2:
14. DestPeerAddress & 255 255.255.255 = 0: PushPktTo, Count pkt;
15. DLevel 1:
16. DestPeerAddress & 255 255.255.0 = 0: PushPktTo, Count pkt;
17 . Count pkt:
18 . Null & 0 =0: Count,0
19. FORMAT
20. SourcePeerAddress DestPeerAddress ToPDUs ToOctets FromPDUs FromOctets
Рис. 4 Пример программы измерителя для асимметричного режима.
IV РЕЗУЛЬТАТЫ И АНАЛИЗ
A. Методология эксперимента
Целю эксперимента является сравнительный анализ адаптивного агрегирования с традиционной схемой. Метод агрегирования может быть охарактеризован степенью детализации и объемами данных, полученных на выходе системы. В традиционной схеме агрегирования уровень детализации фиксирован. При адаптивном агрегировании уровень детализации потока определяется динамически, и на выходе системы одновременно присутствуют записи с разной детализацией. В последнем случае можно использовать средневзвешенный, эффективный уровень детализации.
Мы будем использовать следующие четыре уровня адресной иерархии:
1. Соседние автономные системы.
2. Конечные автономные системы.
3. Маршруты (по полной таблице BGP).
4. IP адреса.
В традиционной схеме уровни детализации будут выбираться в соответствии с уровнями адресной иерархии. Численно уровень детализации будет равен номеру адресной иерархии.
Поскольку в сетевом трафике присутствует большое количество коротких хаотичных соединений, то количество записей, собранных по традиционной схеме оказывается довольно высоким. На практике основная доля трафика оказывается сосредоточенной в менее чем 7% записей. Чтобы формализовать это свойство мы будем использовать соотношение Парето: соотношение Парето для данного распределения равно x0, если в x0% записей сосредоточено (100-x0)% трафика. Если записи отсортировать по весу (накопленному трафику), то точке x0 будет соответствовать критический вес v0.
Наряду с обычной мы будем рассматривать «прореженную» традиционную схему, в которой после агрегирования удаляются записи с размером менее v0.
Схему адаптивного агрегирования мы будем исследовать с разными значениями весового порога. В качестве параметра мы будем использовать плавно меняющийся весовой порог. Результат работы схемы адаптивного агрегирования - совокупность записей с разной детализацией. Поэтому в качестве уровня детализации мы будем использовать средневзвешенное значение:
Z ((SourceKindi + DestKindi) * Weighty)
Level = —-—-
Z Weighti
Где: SourceKind и DestKind - индикаторы, идентифицирующие уровень, а Weight - вес потока.
Пример: значение Level = 2 означает, что средний уровень детализации эквивалентен уровню «по конечным автономным системам», а Level = 3 - соответствует уровню детализации «по маршутам».
B. Результаты и обсуждение
Исследования проводились на тестовом блоке данных NetFlow собранных с международного канала сети RbNet в течение часа. Тестовый блок включал ~40 млн. соединений, аккумулирующих 120 гигабайт переданного трафика.
Результат работы схем агрегирования группировался по адресным компонентам, чтобы исключить временную составляющую.
В качестве весовой функции потока использовалось количество переданных в нем байт.
В Таб. 1 представлены результаты работы традиционной схемы агрегирования для разных уровней. Прореженное количество записей (третья колонка) получалось после удаления тех, вес которых меньше параметра V0 в соотношении Парето.
Таб. 1 Результат работы традиционных схем агрегирования.
Количество записей (тыс.) Параметры Парето
Уровень -
Исходное Прореженное X0 V0
Адреса 4878.3 126.8 2.6 17.9КЬ
Маршруты 334.9 14.4 4.3 457КЬ
AS источника 7.6 0.45 5.9 18.4МЬ
AS соседа 0.6 0.04 6.4 292МЬ
В Таб. 2 представлены результаты работы схемы адаптивного агрегирования в симметричном и асимметричном режимах. Видно, что результаты работы схемы адаптивного агрегирования в симметричном и несимметричном режиме примерно одинаковы, хотя асимметричная схема, как и следовало ожидать, несколько выигрывает.
Таб. 2 Результат работы схем адаптивного агрегирования
П (Кб " ) Симметричный режим Асимметричный режим
Записи (тыс.) Уровень Записи (тыс.) Уровень
3 342.0 3.97 354.4 3.98
10 196.0 3.96 200.4 3.97
30 118.1 3.93 120.7 3.95
100 63.9 3.87 65.7 3.90
300 31.9 3.75 32.9 3.82
1000 14.9 3.51 15.4 3.65
3000 6.9 3.14 7.2 3.39
10000 30000
2.0 0.6
2.49 1.88
2.2 0.7
2.94 2.50
На Рис. 5 показаны графики зависимостей уровней агрегирования от количества записей для различных схем.
Можно заметить, что с увеличением количества записей графики адаптивного агрегирования начинают сливаться. Это объясняется тем, что при малых значениях порога начинает доминировать максимальный уровень детализации, а процент записей на нем для обоих режимов (симметричного и асимметричного) будет одинаков.
Как видно, адаптивное агрегирование значительно превосходит обычное и даже прореженное агрегирование. Наиболее ярко это видно на уровне детализации 3 (маршруты). На этом уровне обычное агрегирование производит 335 тысяч записей, прореженное - 14 тысяч, симметричное адаптивное агрегирование - 5 тысяч, а асимметричное - всего 2.3 тысячи.
График прореженного агрегирования на краях диапазона приближается и даже проходит выше графиков адаптивного агрегирования. Это объясняется тем, что прореженная схема предполагает частичную потерю данных, которые в адаптивной схеме пересчитываются на более низких уровнях детализации.
0.1
1.0 10.0
Количество записей (тысяч).
-О-Асимметричная адаптивная схема -Д- Симметричная адаптивная схема
Обычное агрегирование -□-Прореженное агрегирование
100.0
1000.0
Рис. 5 Сравнительные результаты различных схем агрегирования.
V ЗАКЛЮЧЕНИЕ
Мы представили схему адаптивного агрегирования сетевого трафика, которая принципиально отличается от традиционного метода сбора данных. Предложенный метод производит кластеризацию данных, оставляя активные сетевые элементы и соединения на более высоких уровнях детализации, а менее активные - на более низких уровнях. Наш метод не использует глобальную оптимизацию. Тем не менее, он дает хорошие результаты, обладая следующими важными свойствами:
1. Масштабируемость. Метод позволяет на порядки снизить скорость формирования измерительной системой новых данных на уровнях с высокой адресной детализацией. Это позволяет расширить область сбора данных.
2. Предсказуемость. Метод позволяет ограничить как скорость формирования новых записей, так и их общий их объем в хранилище. Таким образом, измерительная система становится устойчивой к возможным перегрузкам, в частности вызванным аномальным поведением исследуемой сети.
3. Управляемость. Скорость формирования новых данных может управляться одним параметром («весовой порог»). Таким образом, мы можем динамически согласовывать поток входящих данных и вычислительные ресурсы измерительной системы. Эти три свойства наряду с низкими вычислительными затратами открывают путь к созданию производительных устойчивых и надежных измерительных систем сетевого трафика.
На данной стадии математическая модель метода, а также его реализация ориентирована на двумерные данные с иерархически организованными компонентами размерностей. Применительно к сетевому трафику это адреса источника и получателя. Есть возможность инкорпорировать в процесс агрегирования временную компоненту, как это показано в п. IIB.3. Двумерная модель ограничивает возможность агрегирования по тем сетевым атрибутам, которые являются «ортогональными» к адресным атрибутам. В частности, легко показать, что, добавив в адресную иерархию номера портов и протоколов, мы неизбежно будем терять либо адресную информацию, либо протокольную. В дальнейшем предполагается развитие модели случай произвольной размерности, что позволит устранить приведенные недостатки.
VI БЛАГОДАРНОСТИ
Авторы работы выражают благодарность:
• Российскому фонду фундаментальных исследований за поддержку данной работы.
• Административному и техническому персоналу Российской магистральной научно-образовательной Сети (RbNet), за предоставленный исходный статистический материал для исследований.
• Жижину Михаилу за ряд полезных советов, касающихся изложения материала.
• Коноплевой Марии и Старостиной Ольге за стилистическую корректировку текста работы.
VII ССЫЛКИ
[1] C. Mills, D.Hirsh, G. Ruth. «Internet accounting: background» // RFC 1272, 1991.
[2] N. Brownlee, C. Mills, G. Ruth. «Traffic Flow Measurement: Architecture» // RFC 2722, 1999.
[3] K. Claffy, H-W. Braun, G. Polyzos. «A Parametrizable Methodology for Internet Traffic Flow Profiling» // IEEE Journal on Selected Areas in Communications, Vol. 13, No. 8, Oct. 1995.
[4] Data Sampling
[5] C. Estan and G. Varghese, "New Directions in Traffic Measurement and Accounting" // ACM SIGCOMM Internet Measurement Workshop 2001, San Francisco, CA, November 1-2, 2001.
[6] K. Cho and R. Kaizaki and A. Kato «Aguri: An Aggregation-Based Traffic Profiler» // Lecture Notes in Computer Science, Vol. 2156, pp. 222+, 2001.
[7] Cristian Estan, Stefan Savage, George Varghese "Automated Measurement of High Volume Traffic" // ACM SIGCOMM Internet Measurement Workshop 2002.
[8] W. Wang, J. Yang, and R. Muntz. «STING: A statistical information grid approach to spatial data mining» // Twenty-Thrid International Conference on Very Large Data Bases, pages 186195, Athens, Greece, 1997.
[9] Ester M., Kriegel H.-P., Sander J., Xu X. "A Density-Based Algorithm for Discovering Clusters in Large Spatial Databases with Noise" // Proc. 2nd Int. Conf. on Knowledge Discovery and Data Mining (KDD-96), Portland, OR, 1996, pp. 226-231.
[10] G. Sheikholeslami, S. Chatterjee, and A. Zhang, "WaveCluster: A Multi-Resolution Clustering Approach for Very Large Spatial Databases" // Proc. 24th Int'l Conf. on Very Large Data Bases, pp. 428-439, August 1998.
[11] N. Brownlee "Traffic Flow Measurement: Experiences with NeTraMet" // RFC 2123, 1997.
[12] V. Paxson and S. Floyd «Wide-area traffic: the failure of Poisson modeling» // In Proc. ACM SIGCOMM '94, pages 257--268, 1994.
