CC BY
52УДК 004.724, 004.728
Оценка задержек коммутаторов в компьютерных сетях
© М.К. Бойченко, И.П. Иванов МГТУ им. Н.Э. Баумана, Москва, 105005, Россия
Приведены результаты экспериментального определения задержки передачи информации в коммутаторе Cisco Catalyst 3750. Исследования проведены путем замера RTT (Round Trip Time) при посылке широко распространенной утилитой ping информационного кадра между двумя компьютерами, модифицированной для повышения точности измерения до наносекунд.
Задержки коммутаторов не входят в число характеристик, приводимых производителями коммутационного оборудования, что не дает возможности разработчикам оценить время реакции сети на различных маршрутах транспортной системы при проектировании топологии сети и выборе ее транзитных узлов. Полученные экспериментальные оценки хорошо согласуются с теоретическими результатами, базирующимися на технологиях кодирования для сетей Ethernet, Fast Ethernet и Gigabit Ethernet, применяемых на физическом уровне эталонной модели ISO/OSI.
Ключевые слова: компьютерная сеть, компьютерные технологии, утилита, модификация, задержка передачи информации, время реакции сети.
На современном этапе развития информационно-коммуникационных технологий практически все компьютерные сети строятся по принципу Ethernet-коммутации, в соответствии с которым основным протоколом на втором уровне эталонной модели ISO/OSI является Ethernet, на третьем уровне — протокол IP, а элементами транспортной системы служат коммутаторы различных уровней [1, 2]. Транспортные системы корпоративных компьютерных сетей реализуются по иерархической схеме, предусматривающей уровень ядра (магистраль), распределительный уровень и уровень доступа. Каждый уровень транспортной системы сети строится с использованием Ethernet-коммутаторов с различной производительностью, порты или интерфейсы которых соединяются медными или оптоволоконными кабелями. Отдельные сегменты могут строится на базе беспроводных технологий, например, Wi-Fi, Wireless Fidelity. В любом случае выбор определенных типов коммутаторов зависит прежде всего от потребных характеристик реализуемой транспортной системы, ее производительности, пропускной способности отдельных сегментов сети, времени реакции сети и т. д. [3]. Вместе с тем фирмы-производители коммутаторов не дают достаточно информации о параметрах предлагаемых моделей коммутаторов, что затрудняет процесс разработки транспортной системы создаваемой корпоративной
сети. Обычно [2, 3] указывают число интерфейсов (портов) конкретной модели, их режимы функционирования (как правило, full duplex), пропускные способности интерфейсов (чаще всего регулируемые — 10, 100, 1000 или 10000 Мбит/с, которые либо устанавливаются по результатам специальной «переговорной» процедуры взаимодействующих устройств [4], либо — принудительно администрацией сети) и, в лучшем случае, указывается общая производительность коммутатора. При этом, максимальные пропускные способности интерфейсов (например, 1 Гбит/с) указываются в размерности бит в секунду, а производительность коммутатора — в количестве обрабатываемых им кадров в единицу времени. Ясно, что число обрабатываемых кадров при определенной пропускной способности портов зависит от их размеров (для технологии Ethernet длина передаваемой полезной информации колеблется от 46 до 1500 байт в одном кадре), поэтому производительность в рекламных целях фирмы-производители указывают для наиболее коротких кадров. Кроме того, умалчивается тот факт, что заявленная производительность достижима лишь для определенных топологий информационных потоков, пересекающих коммутатор, при которых конкретный выходной порт востребован лишь одним потоком информации, поступающим на определенный входной интерфейс коммутатора [5]. В этом случае коммутатор работает как ряд параллельных мостов, число которых в два раза превышает количество его портов, а информационные потоки не пересекаются, вследствие чего ресурсы каждого порта задействуются только одним входным и только одним выходным потоком в полнодуплексном режиме. Подобная топология для потоков информации в коммутаторе практически не реальна для транспортных систем корпоративных сетей, характерной особенностью которых является использование общих ресурсов различного иерархического уровня. Однако даже в этом случае среди рекламных характеристик коммутаторов нет информации о времени передачи кадров с порта на порт, что не позволяет разработчикам транспортной системы установить время передачи пакета через канал (Transmit Time), время реакции сети (Delay), колебание (вариация) задержки при передаче пакетов (Jitter); т.е. многие показатели качества обслуживания (QoS - Quality of Service). Для реализации мультисервисно-сти корпоративных сетей предприятий и организаций все в большем объеме используют интерактивный трафик реального времени. Поэтому способность сети обеспечить необходимый сервис заданному трафику в определенных технологических рамках рассматривается как один из важнейших вопросов, решаемых в процессе создания транспортных систем компьютерных сетей.
В настоящей работе изложены результаты исследования задержки в коммутаторе Cisco Catalyst 3750, проведенного по методике,
освещенной в [6]. Описание коммутатора Cisco Catalyst 3750 представлено в листинге 1:
Cisco IOS Software, C3750E Software (C3750E-UNIVERSALK9NPE-M),
Version 15.0(2)SE, RELEASE SOFTWARE (fcl)
cisco WS-C3750X-48 (PowerPC405) processor (revision K0) with
2 6214 4K bytes of memory.
512K bytes of flash-simulated non-volatile configuration
memory.
Model number: WS-C375 0X-4 8T-L
Описание конфигурации компьютеров, используемых для проведения эксперимента дано в листинге 2:
node1
CPU: Intel(R) Xeon(R) CPU E31220 @ 3.10GHz Memory: DIMM DDR3 Synchronous 1333 MHz (0.8 ns), 8GiB Network: Intel 82579LM Gigabit Network Connection Intel 82571EB Gigabit Ethernet Controller Intel 82571EB Gigabit Ethernet Controller Intel 82574L Gigabit Network Connection
Системное программное обеспечение компьютера-источника и компьютера-приемника приводятся в листинге 3:
Linux node1 3.5.0-42-generic #65~precise1-Ubuntu SMP Wed Oct 2 20:57:18 UTC 2013 x86_64 x86_64 x86_64 GNU/Linux
В силу ряда причин [6, 7] все измерения проводились на компьютере-источнике информационного потока, при этом для измерения времени двойного оборота (RTT - Round Trip Time) кадра использовалась утилита nanoping [7].
В соответствии с методикой определения задержки коммутатора любого уровня, предварительно необходимо установить значения RTT, которые определяются задержками, вносимыми операционной системой компьютера, аппаратным трактом при передаче информации из оперативной памяти в сетевой адаптер (NIC - Network Interface Card) компьютера-источника, задержкой прохождения сигнала по кабелю от компьютера-источника к компьютеру-приемнику и т. д. [6]. Иными словами, необходимо проведение серии посылок эхо-запросов и обработка их результатов при кроссовом соединении сетевых адаптеров компьютера-источника и компьютера-приемника для их различных пропускных способностей (R), т. е. проведение опорных экспериментов.
Все серии осуществлялись посылкой ICMP-пакетов (Internet Control Message Protocol) размерами 18, 32, 64, 128, 256, 512, 1024, 1460 и 1472 байт. Это позволило перекрыть весь диапазон размеров полезной нагрузки кадра технологии Ethernet (от 46 до 1500 байт).
Размер полезной нагрузки для ICMP-пакета длинной L байт, увеличивается на восемь байт ICMP-заголовка и 20 байт заголовка IP-пакета версии IPv4, в который упаковываются эхо-запрос ICMP или эхо-ответ утилиты nanoping. Интервал посылки каждого эхо-запроса принимался равным 0,02 с, что позволило осуществить серию из 10000 запросов за 200 с для любых пропускных способностей интерфейсов. Сценарий (скрипт) проведения серий посылок эхо-запросов, написанный на языке командного интерпретатора shell, представлен в листинге 4:
#!/bin/bash c=10000
for j in 18 32 64 128 256 512 1024 1460 1472 do
echo nanoping -i.02 -s${j} -c${c} -q node2 nanoping -i.02 -s${j} -c${c} -q node2 echo done
В соответствии с планом экспериментальных исследований сетевые адаптеры компьютера-источника и компьютера-приемника связывались кроссовым кабелем для проведения опорного эксперимента по установлению значений RTT, определяемых задержками в ОС и собственно в сетевых адаптерах, взаимодействующих компьютеров. Далее приведены фрагменты результатов, полученных в одной из серий посылок эхо-запросов при пропускной способности сетевых адаптеров R = 10 Мбит/с:
Crossover cable | eth1 Intel Corporation 82574L Gigabit Network
Connection
10 Mbit/s Full Duplex
nanoping -i.02 -s18 -c10000 -q node2eth1
10000 packets transmitted, 10000 received, 0% packet loss, time 2 04 981ms
rtt min/avg/max/mdev = 3068 64/371533/924 08 6/3072 9 ns nanoping -i.02 -s512 -c10000 -q node2eth1
10000 packets transmitted, 10000 received, 0% packet loss, time 2 02 883ms
rtt min/avg/max/mdev = 1097827/1163092/1407664/9704 ns nanoping -i.02 -s1024 -c10000 -q node2eth1
10000 packets transmitted, 10000 received, 0% packet loss, time 201203ms
rtt min/avg/max/mdev = 1950768/1994618/2084716/11047 ns nanoping -i.02 -s1472 -c10000 -q node2eth1
10000 packets transmitted, 10000 received, 0% packet loss, time 208329ms
rtt min/avg/max/mdev = 2 667033/272 0183/2 8035 83/12874 ns
Линейная аппроксимация зависимости RTT от размера L передаваемого ICMP-пакета позволяет установить следующую зависимость:
RTT0,10 = 1622 • L +174066 (нс), (1)
где L - число байт в передаваемом ICMP-пакете.
Для пропускной способности сетевых адаптеров R = 100 Мбит/с проведение серий опорных экспериментов с линейной аппроксимацией результатов приводит к следующей зависимости:
RTT0100 = 139 • L +142302 (нс). (2)
Для пропускной способности интерфейсов R = 1000 Мбит/с линейная аппроксимация результатов опорных экспериментов имеет вид:
RTT0,1000 = 42 • L +1103164 (нс). (3)
В соответствии с планом исследований, сетевые адаптеры компьютера-источника и компьютера-приемника были подключены к первому и второму интерфейсам коммутатора Cisco Catalyst. Пропускные способности интерфейсов были заданы администратором. В сериях посылки эхо-запросов устанавливались опции, идентичные таковым для опорного эксперимента. В листинге 6 представлены фрагменты результатов измерений RTT для коммутатора Cisco Catalyst 3750 в одной из серий при пропускных способностях всех интерфейсов R = 10 Мбит/с:
WS-C3750X-48 | ethl Intel Corporation 82574L Gigabit Network Connection
nodel ethl -> node2 ethl 10 Mbit/s Full Duplex
nanoping -i.02 -s18 -c10000 -q node2eth1
10000 packets transmitted, 10000 received, 0% packet loss, time 2 0664 8ms
rtt min/avg/max/mdev = 4 6178 8/537734/1331832/31270 ns nanoping -i.02 -s512 -c10000 -q node2eth1
10000 packets transmitted, 10000 received, 0% packet loss, time 202505ms
rtt min/avg/max/mdev = 2076983/2124438/2397432/9238 ns nanoping -i.02 -s1024 -c10000 -q node2eth1
10000 packets transmitted, 10000 received, 0% packet loss, time 2 08 969ms
rtt min/avg/max/mdev = 3714252/3773015/3959966/12488 ns nanoping -i.02 -s1472 -c10000 -q node2eth1
10000 packets transmitted, 10000 received, 0% packet loss, time 203398ms
rtt min/avg/max/mdev = 5155834/5216504/5388784/13604 ns
Линейная аппроксимация зависимости RTT от размеров передаваемого ICMP-пакета приводит к зависимости вида
RTT110 = 3223 • L + 246542 (нс). (4)
Аналогично проведены экспериментальные исследования RTT для других пропускных способностей обоих интерфейсов коммутатора — при их пропускных способностях R = 100 Мбит/с линейная аппроксимация зависимости RTT от размеров передаваемых ICMP-пакетов выражается формулой
RTT1100 = 3 49 • L +143268 (нс), (5)
а для R = 100 Мбит/с имеем
RTT11000 = 62 • L +108377 (нс). (6)
Коммутаторы всех фирм-производителей, работающие на втором иерархическом уровне эталонной модели ISO/OSI, обеспечивают функционирование при различной пропускной способности интерфейсов. В листинге 7 представлены фрагменты результатов измерений значений RTT для ситуации, при которой один из портов (и соответствующий адаптер компьютера) функционирует с пропускной способностью 1000 Мбит/с, а пропускная способность другого интерфейса (и соответствующего сетевого адаптера второго компьютера) принудительно установлена в 10 Мбит/с:
WS-C3750X-48 | eth1 Intel Corporation 82574L Gigabit Network Connection
node1 eth1 (1000 Mbit/s) -> node2 eth1 (10 Mbit/s) Full Duplex
nanoping -i.02 -s18 -c10000 -q node2eth1
10000 packets transmitted, 10000 received, 0% packet loss, time 205060ms
rtt min/avg/max/mdev = 301599/379279/8 66373/29790 ns nanoping -i.02 -s512 -c10000 -q node2eth1
10000 packets transmitted, 10000 received, 0% packet loss, time 203053ms
rtt min/avg/max/mdev = 1114062/1180202/1281924/8704 ns nanoping -i.02 -s1024 -c10000 -q node2eth1
10000 packets transmitted, 10000 received, 0% packet loss, time 201471ms
rtt min/avg/max/mdev = 195 6130/2 02 0681/2315827/10967 ns nanoping -i.02 -s1472 -c10000 -q node2eth1
10000 packets transmitted, 10000 received, 0% packet loss, time 208783ms
rtt min/avg/max/mdev = 2701766/2753349/2994823/12444 ns
Линейная аппроксимация зависимости ЯТТ (Ь) приводит к формуле К-ТТюоодо = 1638 • Ь + 343494 (нс). (7)
К сожалению, для разных пропускных способностей интерфейсов опорный эксперимент провести невозможно. Однако вполне логично считать опорным результат, при котором предполагается прохождение кадра в одном направлении с одной пропускной способностью, а в противоположном направлении - с другой. Это позволяет в качестве результата опорного эксперимента использовать полусумму значений ЯТТ, установленных в опорных экспериментах для соответствующих пропускных способностей интерфейсов. Аналогично можно найти и задержку коммутатора как полусумму его задержек при разных пропускных способностях.
В соответствии с методикой определения значений задержки кадра в коммутаторе [6] путем вычитания из времени ЯТТ для коммутатора (4)—(6) соответствующего значения ЯТТ для опорного эксперимента (1)—(3) находим
ARTT1010 = RTTU0 -RTT0,i0 = 1600 • L +139731 (нс), ARTT1()o,ioo = RTT1100 - RTT0100 = 210 • L +1861 (нс), ARTT1000,1000 = RTT11000 -RTT01000 = 20• L +10036 (нс).
Так как размер кадра Ethernet с эхо-запросом ICMP равен таковому, содержащему соответствующий эхо-ответ, то задержка коммутатора равна половине значения ARTT, т. е.
Тш10 = 800 • L + 69866 (нс), (8)
TSw100 = 105 • L + 931 (нс), (9)
Tw1000 = 10 • L + 5018 (нс). (10)
Полученные выражения для задержек в коммутаторе дают возможность определить значения RTT в случае различного сочетания пропускных способностей его интерфейсов. Так, для R1 = 1000 и R2 = 10 Мбит/с замена реальных передач модельными будет выглядеть следующим образом:
RTT = RTT0,1000 + RTT0,10 + Tsw1000 + Tsw10 + Tsw10 + Tsw1000 _
RT T1000,10 = 1
2 2 2
RTT0,1000 + RTT0,10
- + Tsw1000 + Tw10 = 1642 • L + 341743 (нс).
Сравнение этого выражения с аппроксимирующей зависимостью (7) свидетельствует о достаточно высоком соответствии предлагаемой модели реальной задержке в коммутаторе.
Значение задержки свободного коммутатора Cisco Catalyst 3750 можно найти используя (8)—(10) в зависимости от размера передаваемого ICMP-пакета. Их пересчет к размерам длины полезной нагрузки Lp, каковой в Ethernet-кадре является IP-пакет, распространяет их на любые кадры с такой же полезной нагрузкой, а именно Lp = L + 28 байт [4, 5]:
Tsw10 = 800 • LP + 47466 (нс),
Tsw100 = 105 • Lp - 2009 (нс), (11)
Tsw1000 = 10 • Lp + 4738 (нс).
Так же полезным для практических вычислений могут быть зависимости значений задержки коммутатора Cisco Catalyst 3750 от длины передаваемого Ethernet-кадра вместе с преамбулой и стартовым байтом Lt = Lp + 26 байт [2, 3]:
Tsw10 = 800 • Lt + 28240 (нс),
Tsw100 = 105 • Lt - 4530 (нс), (12)
Tsw1000 = 10 • Lt + 4498 (нс).
Рассмотрим более детально механизм передачи кадра длиной Lt байт последовательно из выходного аппаратного буфера в кабельный сегмент. При R = 10 Мбит/с на физическом уровне эталонной модели ISO\OSI и технологии Ethernet применяется манчестерский код [2, 3], в соответствии с которым на каждый бит передаваемой полезной информации приходится один бит физического кода. Длительность одного бит-тайма для этой пропускной способности т = 100 нс, поэтому Lt байт кадра будут переданы за время
т10 = 8• Lt •! = 800• Lt (нс). (13)
При R = 100 Мбит/с т = 10 нс, но на физическом уровне используется код 4В/5В [2, 3], для которого каждые четыре бита полезной информации требуют передачи в линию связи пяти бит, поэтому
Т100 = 8• Lt •! = 100• Lt (нс). (14)
Для пропускной способности R = 1000 Мбит/с т =1 нс. При оптоволоконных кабелях связи на физическом уровне используется код 8В/10В, т. е. каждый байт передаваемой информации требует от-
правки в линию связи 10 бит. Для медных кабелей применяется код РАМ5 [2, 3], в соответствии с которым восемь бит полезной информации на физическом уровне приводят к 10 отправляемым в линию битам, поэтому
8 Lf т = 10-L (нс). (15)
Сравнение выражений (13)—(15) с экспериментально установленными зависимостями (12) показывает не только правдоподобность последних, но и позволяет констатировать факт дополнительных задержек кадров в коммутаторах второго уровня, причиной которых являются различные (в зависимости от реализуемых схем коммутации [2, 3]) «внутренние» издержки на передачу кадров из аппаратных буферов входных интерфейсов в аппаратные буферы его выходных портов. Установленные экспериментальные значения задержек коммутатора (12) необходимы при исследованиях возможных взаимных блокировок кадров для любых топологий пересечения информационных потоков на транзитных узлах транспортных систем компьютерных сетей [5, 6].
ЛИТЕРАТУРА
[1] Олифер В.Г., Олифер Н.А. Основы компьютерных сетей. Санкт-Петербург: Питер, 2009, 352 с.
[2] Таненбаум Э., Уэзеролл Д. Компьютерные сети. 5-е изд. Санкт-Петербург: Питер, 2012, 960 с.
[3] Олифер В.Г., Олифер Н.А. Компьютерные сети. 4-е изд. Санкт-Петербург: Питер, 2011, 944 с.
[4] Филимонов А. Ю. Построение мультисервисных сетей Ethernet. Санкт-Петербург: БХВ-Петербург, 2007, 592 с.
[5] Бойченко М.К., Иванов И.П. Вероятностная модель коммутаторов локальных вычислительных сетей. Вестник МГТУ им. Н.Э. Баумана. Сер. Приборостроение, 2009, № 2, с. 84-92.
[6] Иванов И.П. Математические модели, методы анализа и управления в корпоративных сетях. Автореферат дис.... д-ра техн. наук. Москва: МГТУ им. Н.Э. Баумана, 2010, 34 с.
[7] Иванов И.П., Кондратьев А.Ю., Лохтуров В.А. Модернизация процесса измерений интервалов времени в операционных системах современных компьютеров. Вестник МГТУ им. Н.Э. Баумана. Сер. Приборостроение, 2012, № 4, с. 44-59.
Статья поступила в редакцию 03.10. 2014
Ссылку на эту статью просим оформлять следующим образом:
Бойченко М.К., Иванов И.П. Оценка задержек коммутаторов в компьютерных сетях. Инженерный журнал: наука и инновации, 2014, вып. 11. URL: http://engjournal.ru/catalog/it/network/1312.html
Иванов Игорь Потапович родился в 1955 г., окончил в 1979 г. МВТУ им. Н.Э. Баумана. С 1996 г. по настоящее время — проректор по информатизации и модернизации МГТУ им. Н.Э. Баумана, с 2000 г. заведующий кафедрой «Теоретическая информатика и компьютерные технологии», д-р техн. наук, доцент. Автор 40 научных работ в области информационно-коммуникационных технологий. e-mail: ivanov@bmstu.ru
Бойченко Максим Константинович родился в 1978 г., окончил в 2001 г. МГТУ им. Н. Э. Баумана. С 2013 г. начальник ИЦ УИ-ВЦ. Специалист в области информационно-коммуникационных технологий. e-mail: noc@bmstu.ru
Evaluation of delays in switches in computer networks
© M.K. Boychenko, I.P Ivanov Bauman Moscow State Technical University, Moscow, 105005, Russia
The article presents the results of the experimental determination of the transmission delay of information in the Cisco Catalyst 3750. Research is conducted by measuring the value of RTT (Round Trip Time) when sending a frame between two computers by dint of utility "ping" which is modified in order to improve the accuracy of measurement to nanoseconds. Delay values in the switches are not included in the number of their characteristics, specified by manufacturers of network equipment, which does not allow developers to evaluate network response time on various routes of the transport system when designing the network topology and the choice of its transit nodes. The experimental estimates are in good agreement with the theoretical results based on technology coding for networks Ethernet, Fast Ethernet and Gigabit Ethernet, used at the physical layer model ISO/OSI.
Keywords: computer network, computer technology, utility, modification, delay, networks reaction time.
REFERENCES
[1] Olifer V.G., Olifer N.A. Osnovy kompyuternykh setei [Basics of Computer Networks]. St.-Petersburg, Piter Publ., 2009, 352 p. [in Russian].
[2] Tanenbaum A., Wetherall D. Computer Networks. 5th ed. Prentice Hall, Inc., Upper Saddle River, New Jersey, 2011.
[3] Olifer V.G., Olifer N.A. Kompyuternye seti [Computer Networks]. 4th ed. St.-Petersburg, Piter Publ., 2011, 944 p. [in Russian].
[4] Filimonov A.Yu. Postroenie mul'tiservisnykh setei Ethernet. St.-Petersburg, BHV, 2007, 592 p. [in Russian].
[5] Boychenko M.K., Ivanov I.P. Vestnik MGTU im. N.E. Baumana. Priboro-stroenie - Herald of the Bauman Moscow State Technical University. Instrument Engineering, 2009, no. 2, pp. 84-92.
[6] Ivanov I.P. Matematicheskie modeli, metody analiza i upravleniya v korpora-tivnykh setiakh. Avtoreferat dis. dokt. tehn. nauk. Moscow, Bauman Moscow State Technical University, 2010, 34 p.
[7] Ivanov IP. Kondrat'ev A.Yu., Lohturov V.A. Vestnik MGTU im. N.E. Baumana. Priborostroenie - Herald of the Bauman Moscow State Technical University. Instrument Engineering, 2012, no. 4, pp. 44-59.
Ivanov I.P., Dr. Sci. (Eng.), vice-rector in informatization and modernization of the Bauman Moscow State Technical University, head of the Theoretical Informatics and Computer Technologies Department at the Bauman Moscow State Technical University. Author of more than 40 publications in the field of data-communication technologies. e-mail: ivanov@bmstu.ru
Boychenko M.K., leading programmer of the IT laboratory of the Administration on Informatization - Computing Center of the Bauman Moscow State Technical University. Specializes in the field of data-communication technologies. e-mail: noc@bmstu.ru
