CC BY
153
н
Si
АСПЕКТЫ КАЧЕСТВА В!
в:
а
ЦЕНТРЫ ОБРАБОТКИ ДАННЫХ
Масштабирование ЦОД c помощью технологии Cisco FabricPath
Сергей ГУСАРОВ,
системный инженер компании Cisco
Сети L2 необходимы для функционирования современных центров обработки данных (ЦОД), в которых широко используются технологии виртуализации. Но протокол Spanning Tree накладывает ограничения на масштабирование L2-доменов. Технология Cisco FabricPath объединяет преимущества L2-сетей, такие как простота и гибкость, с масштабированием и производительностью маршрутизации, предоставляя эффективное решение для построения сетевой инфраструктуры центров обработки данных.
Проблемы дизайна сетевой инфраструктуры ЦОД
Традиционные сети для (ЦОД) проектировались с учетом приложений, размещаемых на физических серверах. Развитие направлений виртуализации серверов и кластерных систем требует свободного перемещения виртуальных машин между физическими серверами в ЦОД, новых возможностей по масштабированию полосы пропускания, а также поддержки коммуникаций каждого с каждым.
Повышая эффективность использования ресурсов, технология виртуализации выдвигает одно из важных требований к сетевой инфраструктуре ЦОД. Она нуждается в гибкой и масштабируемой сети с коммутацией второго уровня (L2).
Хотя L2-сеть обеспечивает гибкость, необходимую для задач приложений в ЦОД, она также имеет ряд ограничений по сравнению с маршрутизацией (L3):
^ неоптимальная производительность: пересылка кадров в L2-домене определяется правилами протокола Spanning Tree (STP), который блокирует часть путей и ограничивает доступную полосу пропускания;
^ ограниченное масштабирование: проблемы, возникающие в L2-сети. затрагивают весь L2-домен, поэтому для снижения риска сеть рекомендуется разбивать на меньшие L2-домены, разделенные L3-границей;
^ сложность обеспечения L2-смежности: в свою очередь L3-сегментация в ЦОД создает трудности для процессов, связанных
с технологией виртуализации (например, миграция виртуальной машины). Проводить изменения в существующем дизайне непросто, и это может привести к вынужденной остановке приложений.
Cisco FabricPath - маршрутизация в Ь2-сети
Cisco FabricPath - это инновационная технология, трансформирующая принципы проектирования 1_2-сетей. Она предоставляет преимущества L3-маршрутизации для _2-сети и позволяет построить надежную и масштабируемую _2-фабрику. Cisco FabricPath поддерживается на интерфейсных модулях F-серии коммутаторов Cisco Nexus 7000. Поддержка FabricPath также станет доступна на коммутаторах серии Nexus 5500 в будущей версии программного обеспечения.
Продемонстрируем процесс пересылки кадра Ethernet с использованием технологии FabricPath. Правила L2-коммутации не распространяются на формирование топологии и пересылку кадров внутри фабрики FabricPath. Кадры инкапсулируются заголовком FabricPath, который состоит из маршрутизируемых адресов источника и получателя. Они представляют собой адреса коммутатора, который получил кадр, и адрес коммутатора, куда кадр должен быть отправлен. По пути кадр маршрутизируется промежуточными коммутаторами и достигает коммутатора получателя, где он распаковывается и далее пересылается как обычный Ethernet кадр. На рис. 1 демонстрируется этот процесс.
Основное отличие между FabricPath и классическим Ethernet состоит в том,
что в фабрике FabricPath кадр всегда пересылается на основе известного адреса получателя. Адреса коммутаторов автоматически назначаются, и рассчитывается таблица маршрутизации для получателей однонаправленного (unicast) и многоадресного (multicast) трафика. Процесс пересылки в фабрике не нуждается в лавинообразном распространении пакетов (flooding). Решение на основе FabricPath обеспечивает простоту и гибкость L2. А использование механизмов маршрутизации придает сети высокую надежность и масштабирование.
Cisco FabricPath предоставляет целый ряд преимуществ.
Упрощение сети, снижение эксплуатационных расходов:
^ Cisco FabricPath просто настроить. С помощью интерфейса командной строки (CLI) достаточно выполнить всего несколько конфигурационных команд для настройки портов, включенных в фабрику, и VLAN, которые будут использоваться. Адреса коммутаторов назначаются автоматически;
^ используемый единый протокол управления для пересылки однонаправленного и многоадресного трафика требует меньше настроек, чем STP, тем самым уменьшается число задач по управлению решением;
^ при проектировании традиционных сетей делаются предположения о матрице трафика и расположении серверов и сервисов. Если эти предположения оказываются неверными на практике или меняются со временем, то возможно потребуются сложные изменения
48
вею КАЧЕСТВА № 5 • 2011
/:: li
ЦЕНТРЫ ОБРАБОТКИ ДАННЫХ АСПЕКТЫ КАЧЕСТВА
в сети. Сеть на основе FabricPath может быть изменена по требованию и без перерывов в работе критичных серверов и без изменения конфигурации их подключения;
О унаследованы возможности по поиску неисправностей в FabricPath, доступные в IP-сетях. Команды ping и traceroute становятся доступны для 1_2-сети и позволяют измерить задержку и проверить определенный путь до получателя внутри фабрики;
О для обеспечения отказоустойчивости устройство, которое не поддерживает FabricPath, может быть подключено к двум коммутаторам FabricPath с использованием технологии vPC+ (рис. 2). При этом устройство подключено по EtherChannel к двум коммутаторам, что обеспечивает балансировку и отказоустойчивость.
Надежность, основанная на проверенных технологиях:
О FabricPath использует протокол управления, основанный на стандартном протоколе маршрутизации IS-IS, обеспечивающий быструю сходимость, который хорошо себя зарекомендовал в крупнейших сетях операторов связи. При этом не требуется специальных знаний протокола IS-IS для работы с FabricPath;
О защита от образования петель поддерживается на уровне Data Plane в отличие от 1_2-коммутации. Кадры FabricPath содержат поле Time-to-Live (TTL), подобно IP-пакетам, а также для них применяется проверка Reverse Path Forwarding (RPF). Эффективность и высокая производительность:
О благодаря поддержке Equal-cost Multipath (ЕСМР) для пересылки
Кадр 2-го уровня
Кадр 2-го уровня
Рис. 1. Пересылка кадра через фабрику FabricPath
кадров сеть может использовать все доступные каналы между двумя устройствами. Первое поколение оборудования, поддерживающего FabricPath, может выполнять балансировку ECMP по 16 путям. При использовании EtherChannel-интерфейсов, состоящих из 16 активных портов 10GE, это обеспечивает потенциальную полосу пропускания 2,56 Тбит/с между коммутаторами FabricPath;
О кадры пересылаются по кратчайшему пути до получателя (в отличие от решения на STP);
О обучение MAC-адресами осуществляется выборочно на границе фабрики FabricPath и обеспечивает масштабирование сети за пределы таблиц MAC-адресов индивидуальных коммутаторов.
Примеры использования Cisco FabricPath
Продемонстрируем преимущества использования технологии Cisco FabricPath на следующих примерах.
Типовой дизайн сетевой инфраструктуры ЦОД
При проектировании центров обработки данных принято руководствоваться модульным принципом. Под
модулем подразумевается физический и логический блок, создаваемый для поддержки приложений и бизнес-задач компании и обладающий предсказуемыми характеристиками по энергопотреблению, охлаждению, занимаемой площади, кабельной и сетевой инфраструктуре, а также вычислительным ресурсам.Являясь строительным элементом ЦОД, модуль обладает повторяемостью и позволяет наращивать и масштабировать ресурсы центров обработки данных. На рис. 3 модули ЦОД «А» для наглядности выделены разным цветом.
До появления Cisco FabricPath лучшим вариантом дизайна 1_2-домена внутри модуля являлось использование технологии Cisco Virtual PortChannel (vPC). Это функционал программного обеспечения Cisco NX-OS, предоставляющий возможность подключить каждый коммутатор доступа к паре коммутаторов агрегации с помощью EtherChannel. При этом обеспечивается резервирование и балансировка трафика без опоры на протокол Spanning Tree.
ЦОД «В» на рис. 3 представляет дизайн на основе технологии Cisco FabricPath. Отметим, что в нем используется такое же количество коммутаторов и интерфейсов, как и в ЦОД «А».
Рис. 2. Отказоустойчивое подключение устройства, не поддерживающего FabricPath, с использованием vPC+
№ 5 • 2011 ВеКІ КАЧЕСТВА
49
АСПЕКТЫ КАЧЕСТВА
В
в:
в:
в:
в:
в
ЦЕНТРЫ ОБРАБОТКИ ДАННЫХ
Возникновение
переподписки
ЦОД “А”
ЦОД “В"
Layet-3------
Laye'r 2
Широковещательный домен 1 ^^Широковещательный домен 2^
О* К,/ КУ
гга
Фабрика Cisco FabricPath
ТУТУкУ
рис. 3. сетевая инфраструктура типового цид
Коммутаторы
агрегации
Коммутаторы
доступа
8192 X 10GE
Рис. 4. Сетевая инфраструктура кластера высокопроизводительных вычислений с использованием FabricPath
Но топология подключения интерфейсов между коммутаторам доступа и агрегации отличается. В ЦОД «А» каждый коммутатор доступа подключен 3 4-портовым EtherChannel к двум коммутаторам агрегации с помощью vPC.
В ЦОД «В» каждый коммутатор уровня доступа имеет по одному интерфейсу к каждому из четырех коммутаторов агрегации.
Дизайн с использованием Cisco 3 FabricPath, использованный в этом примере, демонстрирует преимущества новой архитектуры:
Конфигурация:
3 в ЦОД «А» каждый коммутатор играет свою роль и требует своей настройки EtherChannel и Spanning Tree. Конфигурация коммутатора зависит от его роли, а также от ис- 3 пользуемых номеров VLAN;
3 в ЦОД «В» не требуется настраивать коммутатор в зависимости от его роли в топологии STP. Интерфейсы не требуется объединять в EtherChannel. FabricPath упрощает конфигурацию. Всё, что необходимо, это настроить порты, включен-
ные в фабрику, и VLAN, которые будут использоваться в FabricPath. 12-связность:
коммутаторы доступа в ЦОД «А» расположены в двух модулях, коммуникация серверов из разных модулей может осуществляться только на 1_3-уровне. Перемещение виртуальных машин между модулями является непростой задачей; все коммутаторы доступа в ЦОД «В» обеспечивают 1_2-смежность для подключенных серверов. Это упрощает администрирование и предоставляет миграцию виртуальных машин в пределах ЦОД. Не требуется, чтобы сервер был физически расположен в определенном модуле. Полоса пропускания: каждый коммутатор доступа в ЦОД «А» имеет 40 Гбит/с пропускной способности до каждого коммутатора доступа в том же модуле. Для доступа к коммутатору доступа в соседнем модуле используется путь через коммутаторы ядра ЦОД, ограниченный полосой пропускания каналов между уровнем агрегации и ядра;
3 в ЦОД «В» каждый коммутатор доступа имеет 40 Гбит/с пропускной способности до любого коммутатора доступа ЦОД. При этом используется кратчайший путь между коммутаторами доступа.
Кластеры высокопроизводительных вычислений (High-Performance Computing)
Сетевая инфраструктура ЦОД для кластеров высокопроизводительных вычислений проектируется с учетом минимальной переподписки между серверами кластера. При использовании протокола Spanning Tree между любыми двумя коммутаторами должен быть активным только один путь, чтобы не образовывалось петель. В результате часть каналов находится в заблокированном состоянии, и возникает переподписка трафика между серверами.
Cisco FabricPath снимает эти ограничения за счет использования ECMP. На рис. 4 продемонстрирована сетевая топология на основе Nexus 7018 и интерфейсных модулей F-серии с портами 10GE.
На каждом коммутаторе доступа используются EtherChannel-интерфейсы по 16 портов 10GE в каждом для подключения к 16 коммутаторам агрегации. Таким образом, каждый коммутатор доступа имеет подключение с пропускной способностью 2,56 Тбит/с к фабрике для обмена трафика с другими коммутаторами доступа. Каждый коммутатор доступа содержит также 256 портов 10GE для подключения серверов к высокопроизводительной фабрике. Если требуется, то данный дизайн, рассчитанный на 8192 портов доступа 10GE, может масштабироваться за счет введения дополнительной переподписки или использования 40GE и 100GE портов в будущем. ■
SG
ВЄКІ КАЧЕСТВА № 5 • 2011
