CC BY
54
УДК 004.724: 004.728
М. К. Бойченко, И. П. Иванов
ИССЛЕДОВАНИЕ ХАРАКТЕРА ТРАФИКА В МАГИСТРАЛЬНЫХ СЕГМЕНТАХ ЛВС МГТУ им. Н.Э. БАУМАНА
Приведены результаты экспериментальных статистических исследований трафика в магистральных сегментах ядра корпоративной сети МГТУ им. Н.Э. Баумана. Проанализированы возможности применения различных математических моделей интенсивности трафика в режиме full-duplex.
Ключевые слова: сеть, ядро, коммутатор, трафик, статистика.
Бурный прогресс технологии коммутации в локальных вычислительных сетях (ЛВС), наблюдаемый с момента появления в 1990 г. первого коммутатора фирмы Kalpana, привел к существенным изменениям на всех уровнях стека протоколов Transmission Control Protocol/Internet Protocol (TCP/IP), используемого практически во всех сетях Всемирной паутины [1, 2]. Прежде всего изменения коснулись самой архитектуры корпоративных сетей, в которой все сильнее проявляется регулярность. В настоящее время общепринята трехуровневая архитектура ЛВС, базирующаяся на коммутационных технологиях, в соответствие с которой в сетях выделяют уровень магистрали (уровень ядра), уровень распределения и уровень доступа [3]. На уровне ядра используется технология Gigabit Ethernet и начинается переход к технологии 10 Gigabit Ethernet, на уровне распределения — технология Fast Ethernet с переходом к Gigabit Ethernet, а для уровня доступа характерно использование всех технологий Ethernet, начиная от 10 BaseT со скоростью передачи 10 Мбит/с для клиентских персональных компьютеров и рабочих станций и заканчивая 1000 BaseTX для серверов. Все большее распространение получают беспроводные сети, в которых скорость обмена информацией достигает 54 Мбит/с. Благодаря существенному снижению цены за порт коммутатора на уровне доступа в подавляющем большинстве случаев применяется микросегментация, т.е. подключение каждого хоста сети к отдельному порту коммутатора с переходом на режим full duplex [1].
Переход к более высокоскоростным протоколам на канальном уровне вполне отвечал возросшим потребностям информационно-коммуникационных технологий, охватывающих все более широкий круг областей деятельности человечества. В настоящее время наблюдаются экспоненциальный рост числа пользователей Всемирной паутины и соответствующее увеличение объемов передаваемой в сетях информации. Стремление к увеличению диаметра сети, ограничиваемого временем двойного оборота, а также скоростью распространения сигнала по витой медной паре и полосой пропускания кабеля 5-й категории при переходе от технологии Ethernet к технологии Fast Ethernet,
заставило разработчиков отказаться от манчестерского кода, заменив его кодом 4В/5В [5]. При переходе к протоколу Gigabit Ethernet был использован код 8В/10В, но и этого оказалось недостаточно. Поэтому для обеспечения соответствия между временем двойного оборота (PDV — Path Delay Value) и минимальной длиной кадра пришлось увеличить последнюю с 64 до 512 байт в гигабитных сегментах за счет введения расширения или за счет работы в режиме пульсации. Более того для реализации технологии Gigabit Ethernet на витой медной паре необходимо на физическом уровне перейти к коду Pulse Amplitude Modulation level 5 (PAM5) [1]. Следует отметить, что стремление к повышению производительности ЛВС за счет снижения накладных расходов требует увеличения размера пакетов, передаваемых между хостами. Наконец, повышение доли мультимедийного трафика, появление потокового трафика (IP-телевидение, IP-аудио, IP-видео и т.д.) и использование IP-сетей для передачи трафика в режиме реального времени, в свою очередь, привело к увеличению размеров передаваемых пакетов и кадров. Именно поэтому основное допущение об экспоненциальном распределении длин передаваемых кадров, лежащее в основе моделирования ЛВС, при их анализе и синтезе не соответствует реальному положению вещей в современных корпоративных сетях. В целях статистического анализа были проведены экспериментальные исследования трафика в сегментах ядра корпоративной сети МГТУ им. Н.Э. Баумана. Топологически ядро представляет собой звезду, в центре которой расположен коммутатор Cisco Catalyst 6500, к которому по оптоволоконным каналам подключены коммутаторы Cisco Catalyst 2950G, при этом 14 сегментов подключены к центральному коммутатору непосредственно, а 7 сегментов — кас-кадно через коммутатор Cisco Catalyst 5500. К некоторым портам этих коммутаторов подключены серверы, обслуживающие все подразделения университета [4]. Прежде всего с помощью программы Wireshark [5] был проведен анализ принадлежности пакетов той или иной транспортной службе (протоколу транспортного уровня). Для повышения репрезентативности наблюдения проводились в различные дни недели (за исключением воскресенья) в разное время суток. Анализировалось по 10 000 кадров в каждом сегменте в периоды с 900 до 1000, с 1400 до 1500 и с 1800 до 1900. Определялась принадлежность пакетов одному из протоколов TCP (Transmission Control Protocol), UDP (User Datagram Protocol), ARP (Address Resolution Protocol), ICMP (Internet Control Message Protocol). В табл. 1 приведены результаты исследования для внутренних сегментов ядра ЛВС МГТУ им. Н.Э. Баумана, а также для внешнего оптоволоконного канала, связывающего корпоративную сеть университета с его провайдером (Runnet).
Таблица 1
Результаты исследования принадлежности пакетов в кадрах протоколов стека
TCP/IP
Протокол Внутренние сегменты ЛВС Внешний сегмент
TCP 80% 92,14%
UDP 11,7% 6,8 %
ARP 2,12% —
ICMP 1,26% 0,95 %
Прочие 4,92% 0,16%
В числе прочих протоколов вклад каждого не превышает 0,2%. Анализ данных табл. 1 позволяет заключить, что обмен информацией между хостами осуществляется с установлением соединения по протоколу TCP и без установления соединения по протоколу UDP. Протокол ARP, применяемый для определения MAC-адресов по известным IP-адресам, присутствует исключительно во внутренних магистральных сегментах ЛВС. С погрешностью, не превышающей 10%, допустимо считать, что ~88% пакетов во внутренних сегментах ЛВС принадлежат протоколу TCP и ~12% — протоколу UDP, при этом следует ожидать соответствующее распределение длин кадров. При установлении и разрыве соединения между хостами происходит обмен короткими пакетами, в дальнейшем при передаче информации от сервера к клиенту должны передаваться длинные кадры, а в ответ — короткие кадры с подтверждением правильности присланной порции информации. По протоколу UDP (без установления соединений) происходит работа службы DNS (Domain Name System) (короткие кадры), передача данных в режиме реального масштаба времени (кадры различной длины при трансляции в сети телевизионных передач, функционирование IP-телефонии и т.д.) и прочее.
Статистическое экспериментальное исследование длин пакетов в различных магистральных сегментах ЛВС МГТУ им. Н.Э. Баумана осуществлялось аналогично анализу принадлежности пакетов различным протоколам в разные дни недели в разное время суток. В сегментах, подключенных к портам коммутатора Cisco Catalyst 6500, использовался модуль Network Analysis Module (NAM), обеспечивающий зеркализацию трафика любого интерфейса с последующей необходимой обработкой. Для сегментов, не имеющих непосредственного подключения к коммутатору Cisco Catalyst 6500, с этой целью использовалась программа tcpdump под операционной системой FreeBSD версии 7.0 [6]. Предварительно также осуществлялась зеркализация исследуемого интерфейса.
В современных коммутаторах фирмы Cisco для захвата трафика могут быть использованы команды операционной системы Internetwork Operating System (IOS). В частности, программа tshark, дополненная программой статистического анализа, позволила установить гистограммы распределения длин кадров во входящем и исходящем потоках коммутаторов Cisco Catalyst, на которых построено ядро
my $minlen = shift || die "Usage:\nprog <minlen> <maxlen> my $maxlen = shift || die "Usage:\nprog <minlen> <maxlen> my $intervals = shift die "Usage:\nprog <minlen> <maxlen>
while (($i*$step+$minlen)<($maxlen-l) ) {
$packets int{int(($1-$minlen)/$step)}++;
printf ("\nBandwith (byte/s): %.2f\n",$bs); foreach $i (sort { $a <=> $b } keys %packets_int) {
printf("Diapazon: %d - %d\n", $i*$step+$minlen,
$packets int{$i}/$packets diapazon*10 0);
Рис. 1. Программа статистического анализа
ЛВС МГТУ им. Н.Э. Баумана. Листинг программы статистического анализа, написанной на языке Perl, приведен на рис. 1.
Входными параметрами для программы являются: ключи функционирования программы tshark, включающие адресацию исследуемого интерфейса нужного коммутатора, число захватываемых кадров и пр.; минимальная и максимальная длины захватываемых кадров (в байтах); число интервалов разбиения диапазона изменения длин захватываемых кадров.
Выходом программы являются файл с подсчитанным значением входной или выходной пропускной способности исследуемого порта и массив процентного соотношения длин кадров, попавших в заданные диапазоны. В табл. 2 приведены результаты исследования длин кадров в следующих оптоволоконных сегментах магистрали ЛВС университета:
— сегмент № 1 между коммутаторами Cisco Catalyst 6500 главного учебного корпуса (ГУК) и одним из коммутаторов Cisco Catalyst 2950G учебно-лабораторного корпуса (УЛК) университета;
Таблица 2
Результаты измерения длин кадров в сегментах магистрали ЛВС МГТУ им. Н.Э. Баумана
Диапазон длин кадров, байт Сегмент
№ 1 № 2 № 3 № 4
in, % out, % in, % out, % in, % out, % in, % out, %
60-156 97,22 18,38 88,35 52,26 66,15 25,49 40,14 75,64
157-253 0,09 1,64 0,46 2,85 0,36 0,86 2,15 1,18
254-350 0,04 0,99 0,22 2,04 0,24 0,74 1,69 0,35
351-447 0,06 0,69 0,21 0,81 0,41 0,81 0,77 1,41
448-544 0,18 0,55 0,06 0,31 0,41 0,38 0,42 0,49
545-641 0,27 5,37 2,58 0,30 7,52 6,09 3,45 3,89
642-738 0,02 0,44 0,46 0,33 0,30 0,77 0,42 0,57
739-835 0,05 0,35 0,43 0,12 1,13 0,96 0,24 0,20
836-932 0,03 0,28 0,16 0,28 0,32 0,36 0,23 0,21
933-1029 0,02 0,24 0,05 0,13 0,21 0,50 0,15 0,18
1030-1126 0 0,25 0,02 0,22 0,40 0,67 0,65 0,27
1127-1223 0,20 0,18 0 0,09 0,58 0,66 0,24 0,13
1224-1320 0,05 0,26 1,27 2,04 1,61 1,78 0,95 1,36
1321-1417 0,03 23,37 0,45 16,12 5,62 8,41 7,44 2,17
1418-1514 1,74 47,01 5,28 22,10 14,74 51,52 41,06 11,95
— сегмент № 2, соединяющий Cisco Catalyst 6500 и Cisco Catalyst 2950G, установленный в аудитории 369 ГУК университета;
— сегмент № 3 сегмент между коммутаторами Cisco Catalyst 6500 и Cisco Catalyst 5500 в информационном центре ГУК университета;
— сегмент № 4, соединяющий коммутатор Cisco Catalyst 6500 и маршрутизатор Cisco 7206, через который ведется информационный обмен с провайдером (Runnet).
Диапазон изменения длин кадров был выбран, исходя из возможного изменения размеров кадров технологии Ethernet без учета 4 байт, отводимых под контрольную сумму, т.е. от 60 до 1514 байт включительно. Измерения проводились в тех же режимах, что и статистические исследования принадлежности пакетов в кадрах различным протоколам.
Анализ результатов экспериментальных исследований позволяет сделать следующие выводы:
1. Для всех сегментов наблюдается явная асимметрия длин кадров во входящих и исходящих потоках портов коммутатора Cisco Catalyst 6500. В исходящих потоках сегментов № 1, 2, 3 процент длинных кадров более высок в сравнении с входящими потоками. Это можно объяснить тем, что исходящие потоки направлены к пользователям ЛВС МГТУ им. Н.Э. Баумана. Поэтому при преобладании протокола TCP именно к клиентам направлена основная информация от серверов информационного центра, подключенных к коммутатору Cisco Catalyst 6500, обслуживающих практически все общеуниверситетские службы и подразделения. В сегменте № 4 наблюдается противоположная
картина, однако все объясняется, если учесть, что входящий для коммутатора Cisco Catalyst 6500 поток является исходящим из Internet информационным потоком, т.е. ЛВС МГТУ им. Н.Э. Баумана является клиентом по отношению к Internet. В обратных потоках, как и следовало ожидать, преобладают короткие кадры (служебные, подтверждения и т.п.).
2. Как в исходящих, так и во входящих информационных потоках имеет место существенное отличие размеров кадров Ethernet от экспоненциального распределения, что существенно отражается как на пропускной способности сегментов, так и на работе самих коммутаторов, так как время коммутации явно зависит от длины кадров. В процентном соотношении явно прослеживается бимодальность распределения длин кадров, при которой преобладание коротких и длинных кадров в информационных потоках весьма существенно по отношению к кадрам средней длины. Иллюстрацией этого факта может служить гистограмма распределения длин кадров во входящем и исходящем потоках сегмента, соединяющего интерфейсы коммутаторов Cisco Catalyst 6500 и Cisco Catalyst 5500 (сегмент № 3), приведенная на рис. 2.
Аналогично выглядят гистограммы распределения длин кадров и для других сегментов магистрали сети университета.
В целях уточнения распределения длин кадров в области очень коротких и очень длинных кадров были проведены дополнительные экспериментальные исследования в тех же сегментах при тех же режимах функционирования сети (рис. 3).
Явная бимодальность гистограмм распределения длин кадров, а также ограниченность их размеров заставляет отказаться от гипотезы экспоненциального распределения. Более соответствует действительности распределение Джонсона, зависящее от четырех параметров [7]:
i -а2(Ь - а) е-0>5(а1+а2 in x-a)2 при а < x < b;
f (x) = I (x - a)(b — x)^2A p ' (1)
^ 0 — в противном случае,
где а = ¿Г — минимальная длина кадра; b = ¿max — максимальная длина кадра; а1 = (—то; то) и а2 = (0; то) — параметры формы.
Плотность распределения (1) бимодальна, если выполняется условие i
а2 < ~Г,
. _ 2а1 (2)
,1 < V-— 2а2tanh-1 J\—2of,
«2
где tanh-1 — обратный гиперболический тангенс.
Рис. 2. Гистограмма распределения длин кадров в сегменте № 3
Рис. 3. Гистограмма распределения длин кадров сегмента № 3 в диапазонах от 60 до 120 байт (а) и от 1365 до 1514 байт (б)
Если условие (2) не выполняется, то плотность распределения Джонсона — унимодальна, при этом функция плотности смещена влево, симметрична или смещена вправо, когда соответственно а > 0, «i = 0 или а < 0. Хотя все моменты распределения Джонсона существуют, но они чрезвычайно сложны, поэтому плотность (1) не может быть использована для аналитических исследований ЛВС, хотя вполне возможно ее применение для имитационного моделирования трафика в магистральных сегментах. Однако более производительным в этой ситуации может оказаться использование дискретного распределения Бернулли [7], в соответствии с которым допускается, что длина кадра Ьк = LKmin с вероятностью p и Ьк = Lmax с вероятностью q = 1 — p.
Значения p и q могут быть установлены по статистическим данным табл. 2. Для этого следует определить среднюю длину кадра для каждого интервала Lcp и приравнять это значение математическому ожиданию длины кадра в распределении Бернулли:
Lcp = pLKmin + qLKmax.
Тогда легко установить, что
Р =
(3)
Lcp —
q =
Средняя длина кадра может быть установлена более простым способом — системной командой show interfaces GigabitEthernet <port number> операционной системы IOS коммутаторов Cisco Catalyst. В результате выполнения этой команды определяется средняя битовая скорость (Cb, бит/с) и средняя пакетная скорость (Cp, кадр/с) для входного и выходного потоков интерфейса. В этом случае средняя длина кадров может быть найдена по формуле
Lcp=8C (4)
В табл. 3 приведены результаты определения p и q для распределения Бернулли в каждом из четырех исследуемых сегментов. Расчеты проводились по формулам (3) и (4) для L™n = 60 байт и
Lmax = 1514 байт.
По значению p и q можно установить нагрузку сегментов для входного и выходного потоков с учетом накладных расходов, которые для технологии Ethernet включают в себя контрольную сумму кадра (4 байт); преамбулу (8 байт); межкадровый интервал (12 байт).
Нагрузка сегмента может быть вычислена по формуле
р = 8((LKmin + 24)p + (LKmax + 24)q)Cp/C = 8(Lp + 24)CP/C, (5)
т max LK — Lcp
Т max LK T min " Lk
Lcp — min LK
max LIC — min " Lk
Таблица 3
Значение p и q в распределении Бернулли
№ сегмента in/out Cb, Cp, Lcp, P q
бит/с кадр/с байт
1 in 2226000 950 267 0,86 0,14
out 11985000 1530 980 0,37 0,63
2 in 5000000 2932 214 0,89 0,11
out 19521000 3555 687 0,59 0,41
3 in 3066000 9095 421 0,75 0,25
out 85703000 11225 954 0,39 0,61
4 in 185599000 27401 846 0,46 0,54
out 52626000 22800 289 0,84 0,16
где С = 109 — пропускная способность сегмента для технологии Gigabit Ethernet (бит/с).
Умножая р на 100%, получаем процент загрузки пропускной способности сегментов ядра ЛВС для входных и выходных потоков информации. Результаты расчетов приведены в табл. 4.
Таблица 4
Загрузка пропускной способности сегментов ядра ЛВС
№ сегмента in/out Нагрузка p Загрузка пропускной способности, % рпр
1 in 0,003 0,3 —
out 0,013 1,3 0,012
2 in 0,0056 0,56 —
out 0,02 2 0,027
3 in 0,032 3,2 —
out 0,088 8,8 0,087
4 in 0,191 19,1 0,212
out 0,055 5,5 —
Как и следовало ожидать, наиболее загруженным оказался внешний сегмент ядра сети по выходному потоку, т.е. по интерфейсу от маршрутизатора Cisco 7206. В целом для портов коммутаторов имеет место явная асимметрия для потоков разного направления, т.е. для потоков, направленных в сторону пользователей (нисходящих потоков) наблюдается превышение процента длинных кадров по сравнению с короткими, передаваемыми в обратном направлении (восходящие потоки). Иными словами основную нагрузку на сеть создают серверы самой ЛВС и внешние серверы Internet.
Для определения нагрузки интерфейсов можно использовать еще более упрощенную модель, допускающую присутствие в потоке только кадров длиной LJfax. Заметим, что по занятости пропускной способ-
ности один кадр максимальной длины эквивалентен (1514 + 24) /(60 + + 24) « 18 кадрам длиной L^1", поэтому
( т max + 24)
рПр « 8KX( к C+ ), (6)
где Л = Cp, кадр/с — интенсивность передачи кадров в сегменте; С = 109, бит/с — предельная пропускная способность интерфейса.
Коэффициент К в формуле (6) в первом приближении может быть найден как среднее значение q для исследуемого коммутатора (K = 0,55) либо как максимальное значение q в интерфейсных потоках (K = 0,63). Очевидно, что по мере развития сети значение K может увеличиваться с ростом трафика информационных потоков (тенденция к росту доли кадров максимальной длины). Может увеличиваться также и интенсивность передачи кадров в сегменте. В последнем столбце табл. 4 даны расчетные значения нагрузки сегментов для нисходящих потоков при K = 0,63. Превышение рпр реальных значений, наблюдаемых в магистральных сегментах при проектировании сети, гарантирует некоторый запас пропускной способности. В целом выражения с (3) по (6) позволяют провести оценку показателей функционирования магистрали ЛВС в случае изменения характеристик источников и стоков потоков информации, каковыми являются в основном хосты пользователей и подразделений.
СПИСОК ЛИТЕРАТУРЫ
1. О л и ф е р В. Г., О л и ф е р Н. А. Компьютерные сети. - СПб.: Питер, 2007.
2. ТаненбаумЭ. Компьютерные сети. - СПб.: Питер, 2002.
3. О л и ф е р В. Г., О л и ф е р Н. A. Новые технологии и оборудование IP-сетей. - СПб.: БХВ, 2000.
4. Разработка математических моделей восходящих и нисходящих информационных потоков в коммутируемых корпоративных сетях / М. Бойченко и др. // Отчет о НИР 01.07.05. - М.: МГТУ им. Н.Э. Баумана, 2007.
5. http://www.wireshark.org
6. http://www.tcpdump.org
7. Аверилл М. Лоу, В. Дэвид Кельтон. Имитационное моделирование. - СПб.: Питер, 2004.
Статья поступила в редакцию 28.04.2009
Максим Константинович Бойченко родился в 1978 г., окончил МГТУ им. Н.Э. Баумана в 2001г. Ведущий программист лаборатории ИТ Управления информатизации МГТУ им. Н.Э. Баумана. Специализируется в области информационных и телекоммуникационных технологий.
M.K. Boichenko (b. 1978) graduated from the Bauman Moscow State Technical University in 2001. Leading programmer of "Information Technologies" laboratory of Administration on Informatization of the Bauman Moscow State Technical University. Specializes in the field of information and telecommunication technologies.
