CC BY
38
УДК 004.724.2+004.272.43 ББК 3.9.7.3.02
СИСТЕМНАЯ СЕТЬ С МАЛЫМ ДИАМЕТРОМ ИЗ МАЛОПОРТОВЫХ МАРШРУТИЗАТОРОВ
Каравай М. Ф.1, Подлазов В. С.2
(ФГБУН Институт проблем управления им. В.А. Трапезникова РАН, Москва)
Рассматривается возможность построения системных сетей с большим числом узлов и малым диаметром из маршрутизаторов с малым числом портов. Предложена базовая структура в виде 2D-4D обобщенного гиперкуба с разреженными изме-рениямии, для которых прдложено использовать подсеть с единичным диаметром в виде неблокируемого мультикольца. Все построения выполнены на базе маршрутизатора отечественной сети «Ангара».
Ключевые слова: системные сети, число узлов, диаметр сети, обобщенный гиперкуб, коммутируемое двумерное p-ичное мультикольцо.
1. Введение.
К системным сетям современных суперкомпьютеров предъявляется требование объединения большого числа связных узлов при минимальном диаметре сети, измеряемом максимально возможным числом скачков между любыми двумя сетевыми узлами. Это требование вызвано необходимостью решения задач в условиях плохого пространственно-временного размещения данных в памяти. В суперкомпьютерах P775 (IBM) и XC30
1 Михаил Федорович Каравай, доктор технических наук, доцент (Москва, ул. Профсоюзная, д. 65, тел. (495) 334-90-00, mkaravay@ipu. гы).
2 Виктор Сергеевич Подлазов, доктор технических наук, доцент (Москва, ул. Профсоюзная, д. 65, тел. (495) 334-78-31, podlazov@ipu.ru).
(Cray) число узлов R измеряется десятками тысяч, а диаметр D -единицами скачков [10, 12]. Указанные значения R и D достигаются за счет использования в качестве связных узлов функционально полных многопортовых маршрутизаторов. В P775 [12] связной узел имеет 47 дуплексных портов разной пропускной способности (10-50 Гб/с), а в XC30 (сеть Dragonfly [10, 13]) - 40 дуплексных портов близкой пропускной способности.
В РФ в настоящее время нет таких маршрутизаторов. Имеется функционально полный маршрутизатор сети Ангара с 8 дуплексными портами [7]. Имеется разработка РФЯЦ-ВНИИЭФ по многомерному тору с несколькими кольцами в каждом измерении [9], по которой очень мало данных в открытой печати. В ИПС РАН также ведется разработка системной сети с топологией многомерного тора [3].
Маршрутизатор сети Ангара предназначен для построения системной сети в виде 4-мерного тора с R = 4096 и D = 16. Имеются сведения о намерении увеличить R в 8^16 раз, но неясно за счет чего. Если просто за счет увеличения числа узлов в измерениях, то это увеличит диаметр до 28^32 скачков и снизит удельную пропускную способность каждого узла в измерениях с увеличенным числом узлов. И то и другое понизит быстродействие сети. Если же предполагается увеличение числа колец в каждом измерении (как в суперкомпьютере Gemini (Cray) [11]), то при изменении топологии колец измерений [9] такое значение R достижимо и при меньшем значении D. Для этого потребуется использование двух маршрутизаторов каждом сетевом узле. Однако останется значение D > 10 скачков. И это принципиальное ограничение для системных сетей с топологией многомерных торов.
Однако использование двух маршрутизаторов в другой топологии может позволить создать системную сеть с приемлемыми значениями R и D.
2. Предлагаемое решение.
Объединим в связном узле два маршрутизатора с 8 дуплексными узлами в спарку со следующей структурой
(рис. 1 и рис. 2). В ней дуплексные каналы 4-го измерения используются для объединения маршрутизаторов.
Возможно два варианта использования спарки. В первом варианте (рис. 1) оба маршрутизатора с 6 дуплексными портами используются для удваивания числа колец в трехмерном торе (как в аналогичном торе суперкомпьютера Gemini).
Рис. 1. Спарка маршрутизаторов с удвоенным числом колец в каждом измерении
Таблица 1. Характеристики системных сетей некоторых суперкомпьютеров_
Суперкомпьютер Сеть R D Число связных портов
Gemini [11] 3D-тор 16384 40 20
Ангара [7] 4D-тор 4096 16 8
Ангара [7] 4D-тор 32768 28 8
Ангара со спар-кой и ДМКМ [8] 3D-тор 4096 12 12
Ангара со спар-кой и ДМКМ [8] 3D-тор 32768 18 12
Gemini с ДМКМ [8] 3D-тор 16384 16 20
Gemini с разреженным ДМКМ [8] 3D-тор 20736 14 20
P775 [12] 2-уровневый полный граф 16416 3-5 47
Суперкомпьютер Сеть R D Число связных портов
XC30 [10] 4D- обобщенный гиперкуб 11616 2-4 40
В этом варианте за счет изменения топологии колец в каждом измерении (применения дуплексных минимальных коммутируемых мультиколец - ДМКМ [8]) удается как увеличить R, так и сократить D (таблица 1).
Во втором варианте маршрутизаторы спарки используются для образования разных измерений в многомерном обобщенном гиперкубе (рис. 2) В спарке первичный маршрутизатор P подсоединяется к сетевой карте (NIC) PCIe, а вторичный маршрутизатор S - только к первичному через дуплексный канал 4-го измерения. Предполагается, что передача пакета из NIC PCIe в первичный и вторичный маршрутизатор происходит с одинаковыми задержками.
Рис. 2. Сетевая карта PCIe (NIC) и маршрутизаторы (P, S).
Сетевой узел - это спарка маршрутизаторов (P - первичный, S - вторичный).
Предлагаемая системная сеть использует топологию многомерного обобщенного гиперкуба GGC(R, N, n), где R - общее число связных узлов, N - число узлов в каждом измерении, n -число измерений и R = Nn. На рис. 3 приведен пример GGC(64, 4, 3). Предполагается, что измерения гиперкуба являются подсетями с малым диаметром d. Подчеркнем, что ребра в
измерениях на рис. 3 обозначают не каналы между узлами, а только принадлежность этих узлов к одной подсети. Для построения подсетей измерения X используются порты только первичных маршрутизаторов, а подсетей измерений У, Z и т.д. -порты только вторичных маршрутизаторов.
О ----------0--------------С--о Г
О-
о-
о-
О-
о-
-0--
о--------------о-
О--------------Q--—
о--------------.о------------
О" С>=-«и
г
о-
о-
-о
Рис. 3. 3-мерный обобщенный гиперкуб GGC(64, 4, 3) с разреженными связями по Y и Z измерениям. Первичные и вторичные маршрутизаторы нарисованы отдельно только в «удобных» местах. В остальных местах они нарисованы единым блоком в виде восьмиугольников
Если используется двумерный гиперкуб, то его диаметр D = dx + dY = 2d. Если используется трехмерный гиперкуб, то связи измерения Y осуществляются только через спарки с нечетными номерами в измерении X, а связи измерения Z - только через спарки с четными номерами в измерении X (см. рис. 3). В этом случае D = 2dx + dY + dz = 4d. Наконец, если используется 4-мерный гиперкуб, то связи измерения Y осуществляются только через спарки с номерами a =1 (mod 3) в измерении X, связи измерения Z - только через спарки с номерами b =2 (mod 3) в
измерении X, а связи 4-го измерения U только через спарки с номерами c =0 (mod 3) в измерении X. В этом случае D = 3dx + dr + dz + du = 6d.
В этом варианте можно добиться уменьшения D за счет использования подсетей со структурой 2-мерных p-ичных коммутируемых мультиколец [1, 2], которые являются распределенными полными коммутаторами на (p+1)2 узлов и имеют топологию квазиполных орграфов [5]. На рис. 4 приведен пример 2-мерного 3-ичного коммутируемого мультикольца на 9 узлов, состоящее из колец с шагами 1, 2 (сплошные дуги) и 3, 6 (пунктирные дуги).
На m = 7 дуплексных портах при p = 5 (или p = 4) можно построить подсеть с N = 20. Она состоит из 7 симплексных колец с шагами 1, 2, 3, 4 и 5, 10, 15 (или 1, 2, 3 и 4, 8, 12, 16), является самомаршрутизируемым неблокируемым распределенным коммутатором и поэтому имеет диаметр d = 1 . Общие характеристики такой системной сети задаются в таблице 2.
В данном случае неприменима сеть flattened butterfly [14], так как она принципиально предполагает использованием маршрутизаторов с двумя и более портами для подключения процессоров. Кроме того, эта сеть не является ни перестраиваемой, ни неблокируемой, что увеличивает ее диаметр по сравне-
нию с номинальным из-за конфликтов даже на перестановочном трафике.
Таблица 2. Характеристики сети для спарки: п - число измерений обобщенного гиперкуба, т - число сетевых портов на карте, N - число узлов в каждом измерении, й - диаметр каждого
Число
n m N d R = N D связных портов
2 7 20 1 400 2 14
3 7 20 1 8000 4 14
4 7 20 1 160000 6 14
3. Возможность развития
Характеристики системной сети можно еще улучшить при построение спарки за счет использования сетевой карты с двумя портами PCIe, связанными мостом внутри карты (рис. 5). В этом случае как первичный, так и вторичный маршрутизаторы подсоединяются через свой разъем PCIe, а переход между измерениями гиперкуба осуществляется через мост в NIC PCIe.
NIC \BRIDGE/NIC PCIe \ / PCIe
Y (Z)
Рис. 5. Двухпортовый узел N10 РС1е и маршрутизаторы (Р, 5).
В этом случае т = 8 и из р-ичного мультикольца при р = 5 можно построить подсеть с N = 25. Она состоит из симплексных 8 колец с шагами 1, 2, 3, 4 и 5, 10, 15, 20 и является неблокируе-мой подсетью и поэтому имеет й = 1. Общие характеристики такой системной сети задаются в таблице 3.
Такие же характеристики будет подсеть в виде мультикольца, состоящего из 4 дуплексных колец с шагами ±1, ±2 и ±5, ±10.
S
Таблица 3. Характеристики сети для спарки: п - число измерений обобщенного гиперкуба, т - число сетевых портов на карте, N - число узлов в каждом измерении, й - диаметр каждого измерения, Я - общее число узлов, )) - диаметр сети_
Число
n m N d R=Nn D сетевых портов
2 8 25 1 625 2 14
3 8 25 1 15625 4 14
4 8 25 1 390625 6 14
4. Заключение
Рассмотрена возможность объединения малопортовых сетевых маршрутизаторов для построения сетевых узлов системных сетей с улучшенными характеристиками.
Предложена топология системной сети на основе обобщенного гиперкуба с разреженными измерениями, в котором каждое измерение представляет подсеть с единичным диаметром.
Рассмотрены построения варианты подсетей в виде двумерных мультиколец и характеристики системных сетей с числом узлов в десятки тысяч и диаметром в несколько (4-6) скачков.
Литература
1. АЛЛЕНОВ А.В., ПОДЛАЗОВ ВС., СТЕЦЮРА ГГ. Пропускная способность набора кольцевых каналов I. Класс наборов колец. Наборы с простыми узлами // Автоматика и телемеханика. - 1996. - №3. - С. 135-144.
2. АЛЛЕНОВ А.В., ПОДЛАЗОВ В С. Пропускная способность набора кольцевых каналов II. Кольцевые коммутаторы // Автоматика и телемеханика. - 1996. - №4. -С.162-172.
3. КЛИМОВ Ю.А., ШВОРИН А.Б. Паутина: высокоскоростная коммуникационная сеть. - [Электронный ресурс] - URL:
http://2014.nscf.ru/TesisAll/1 Apparatura/03 195 ShvorinA B.pdf. (дата обращения 30.07.2015.)
4. КАРАВАЙ М.Ф., ПОДЛАЗОВ В.С Метод инвариантного расширения системных сетей многопроцессорных вычислительных систем. Идеальная системная сеть // Автоматика и телемеханика. - 2010. -№10. -С.166-176.
5. КАРАВАЙ М.Ф., ПОДЛАЗОВ В.С Распределенный полный коммутатор как «идеальная» системная сеть для многопроцессорных вычислительных систем // Управление большими системами - 2011. -№ 34.- С. 92-116.
6. КАРАВАЙ М.Ф., ПОДЛАЗОВ В.С. Топологические резервы суперкомпьютерного интерконнек-та // Управление большими системами - 2013. - № 41. -С. 395-423.
7. МИХЕЕВ В.А И ДР. Реализация высокоскоростной сети для суперкомпьютерных систем: проблемы, результаты, развитие. - [Электронный ресурс] - URL: http://2013.nscf.ru/TesisAll/Section%201/12 2761 Simonov AS_S 1.pdf. (дата обращения 30.07.2015.)
8. ПОДЛАЗОВ В.С. Повышение характеристик многомерных торов // Управление большими системами - 2014. -№ 51. - С. 60-81.
9. ХОЛОСТОВ А.А. И ДР. Реконфигурируемая система межпроцессорных обменов СМПО-WG. - [Электронный ресурс] - URL:
http://2013.nscf.ru/TesisAll/Section%203/05 0019 Xolosto vAA S3.pdf. (дата обращения 30.07.2015.)
10. ALVERSON R., KAPLAN L., ROWETH D. Cray XC® Series Network. - URL:
http://www.cray.com/Assets/PDF/products/xc/CrayXC30Net working.pdf.
11. ALVERSON R., ROWETH D., KAPLAN L. The Gemini System Interconnect // 18th IEEE Symposium on High Performance Interconnects. - 2009. - P. 3-87.
12. ARIMILI B., ARIMILI R., CHUNG V. ET AL. The PERCS High-Performance Interconnect // 18th IEEE Symposium on High Performance Interconnects. - 2009. - P. 75-82.
13. KIM J., DALLY W.J., SCOTT S., ABTS D. Technology-driven, highly-scalable dragonfly topology // Proc. 35th Annual International Symposium on Computer Architecture (ISCA'2008). - P. 77-88. - [Электронный ресурс] - URL: http://users.ece.gatech.edu/~sudha/academic/class/Networks/ Lectures/4%20-%20Topologies/papers/dragonfly.pdf. (дата обращения 30.07.2015.)
14. KIM J., DALLY W.J. AND ABTS D. Flattened Butterfly: A Cost-Efficiently Topology for High-Radix Networks. -[Электронный ресурс] - URL: http://www.cs.berkeley.edu/~kubitron/courses/cs258-S08/handouts/papers/ISCA_FBFLY.pdf. (дата обращения 30.07.2015.)
SMALL-DIAMETR SYSTEM AREA NETWORK COMPOSED FROM SMALL-PORT ROUTERS
Mikhail Karavay, Institute of Control Sciences of RAS, Moscow, Doctor of Science, assistant professor (mkaravay@ipu.ru, Moscow, Profsoyuznaya st., 65, (495) 334-90-00).
Viktor Podlazov, Institute of Control Sciences of RAS, Moscow, Doctor of Science, assistant professor (podlazov@ipu.ru, Moscow, Profsoyuznaya st., 65, (495) 334-78-31).
Abstract: We consider implementation of large system area networks with small diameter based on routers with small port count and suggest a basic structure of a 2D-4D generalized hypercube with sparse dimensions. Dimensions are implemented with a non-blocking multi-ring, which has unit diameter. All designs employ routers of Russian «Angara» series.
Keywords: system-area network, number of nodes (processors), network diameter, generalized hypercube, switched 2-dimensional p-ary multi-ring.
Статья представлена к публикации членом редакционной коллегии М.Ф. Караваем.
Поступила в редакцию 23.03.2015.
Опубликована 31.07.2015.
