CC BY
14
УДК 004.724.2 + 004.272.43 001: http://doi.Org/10.25728/pu.2020.5.7
ОПТИМАЛЬНЫЕ ОТКАЗОУСТОЙЧИВЫЕ МНОГОМЕРНЫЕ ТОРЫ НА ОСНОВЕ МАЛОПОРТОВЫХ МАРШРУТИЗАТОРОВ И ХАБОВ
1.Ф. Каравай, В.С. Подлазов
Аннотация. Рассмотрен метод построения оптимальных системных сетей с топологией многомерных торов. Оптимизация выполнена по таким важным функциональным характеристикам сети как число ее абонентов (процессоров) и задержки передачи между ними, задаваемые диаметром сети. Оптимизация осуществлена в элементной базе малопортовых маршрутизаторов и разветвителей дуплексных каналов (хабов) путем применения сетей с топологией квазиполных графов. Оптимизация реализована благодаря инвариантному расширению многомерного тора и дуплексного канала с сохранением таких их м аршрутных свойств, как способ м аршрутизации и м аксимальные задержки передачи (диаметр сети). Показано, что оптимизация приводит к увеличению числа абонентов при неизменных задержках и к сокращению задержек при неизменном числе абонентов. Оптимизация сопровождается некоторым усложнением сети по схемным и кабельным затратам. При этом мера усложнения (в разах) оказывается меньше меры совместного улучшения обоих характеристик. Приведены сравнительные характеристики оптимальных торов и торов отечественной системной сети «Ангара». Доказано существенное увеличение числа абонентов и сокращение диаметров оптимальных торов по сравнению с сетью «Ангара».
Ключевые слова: системные сети суперкомпьютеров, сети с топологией многомерных торов, сети с топологией квазиполных графов, инвариантное расширение сетей, число абонентов сети, диаметр сети, оптимизация характеристик сети, сеть «Ангара».
ВВЕДЕНИЕ
В настоящее время используется небольшое число базовых структур системных сетей суперкомпьютеров — сложенная сеть Клоза, толстое д е-рево, многомерный тор, обобщенный гиперкуб и двухуровневая склейка полных графов. Среди них нет идеальных — выбор той или иной структуры сразу задает и ряд ее ограничений-недостатков. Так, сети с топологией ^-мерных торов наименее сложные по схемным и кабельным затратам, но обладают наибольшими задержками передачи данных. Поэтому разработка методов устранения недостатков выбранной структуры в рамках ее базовых возможностей представляет собой актуальную задачу совершенствования современных системных сетей — задачу проектного управления характеристиками сети в целях улучшения (даже оптимизации) функционально важных ее характеристик.
В настоящей работе решается задача построения оптимальных по ч ислу абонентов и задержкам
передачи системных сетей с топологией многомерных торов. Она решается путем применения элементной базы, состоящей из малопортовых маршрутизаторов и дуплексных разветвителей (муль-типлексоров/демультиплексоров) каналов 1x m, m = 2, 3, 4. Конкретно, применяются 8-портовый маршрутизатор сети «Ангара» [1, 2] и рыночные дуплексные разветвители 1x3 или 1x4 (хабы) интерфейса PCI-express. В различных вариантах их совместного применения имеется возможность увеличения масштабируемости сети (повышения числа процессоров), быстродействия сети (сокращения ее диаметра) и ее канальной отказоустойчивости.
В § 1 описывается метод инвариантного расширения системных сетей с сохранением их маршрутных свойств. Метод конкретизируется для исходных сетей, состоящих из неблокируемых коммутаторов, маршрутизаторов и дуплексных колец. В § 2 строятся распараллеленные дуплексные кольца (разреженные мультикольца) с малыми диамет-
рами. В § 3 строятся расширенные маршрутизаторы с увеличенным числом абонентов. В § 4 на базе разреженных мультиколец и расширенных маршрутизаторов строятся многомерные торы с увеличенным числом абонентов и с малыми диаметрами. Наконец, в § 5 сравниваются характеристики построенных многомерных торов и торов отечественной системной сети «Ангара». В Заключении перечисляются полученные результаты.
1. ИНВАРИАНТНОЕ РАСШИРЕНИЕ ПРОИЗВОЛЬНЫХ СЕТЕЙ
Пусть имеется исходная системная сеть (рис. 1), объединяющая К абонентов, ИсхС(К) с заданными маршрутными свойствами, которые задают число К абонентов сети и ее диаметр Б. Для нее можно поставить задачу построения расширенной сети РасС(Я) с числом абонентов Я > К, которая состоит из копий сети ИсхС(К) с разными наборами абонентов и сохраняет неизменными (инвариантом) маршрутные свойства сети ИсхС(К) для абонентов. В данной работе маршрутные свойства — это параметры способов маршрутизации пакетов данных, которые описывают их задержки при передаче (диаметр) и число абонентов сети (процессоров).
Возможны два варианта поставленной задачи. В первом варианте исходной сетью служит маршрутизатор с К д уплексными портами и диаметром Б или коммутатор К хК с диаметром Б = 1. Во втором варианте исходной сетью служит дуплексное кольцо с К узлами и диаметром Б = |_К/2_|.
Будем решать поставленную задачу последовательно, начиная с малых значений К = т, т = 2, 3, 4. Решение основывается на использовании свойств такого математического объекта, как неполная уравновешенная симметричная блок-схема Б(И, т, ст) [3, 4], которая содержит N блоков и N элементов, размещенных по блокам так, что каждый блок содержит точно т различных элементов, а каждый элемент входит точно в т различных блоков и каждая пара элементов входит
Исх(4) Исх(4) Исх(4) Исх(4) Исх(4) Исх(4) Исх(4)
Рис. 2. Сеть ПС(7, 4, 2)
Таблица 1
Межсоединения в сети ПС(7, 4, 2)
Копия сети Исх(4) Абоненты
1 1 6 5 4
2 2 7 6 5
3 3 1 7 6
4 4 2 1 7
5 5 3 2 1
6 6 4 3 2
7 7 5 4 3
Рис. 1. Исходная произвольная сеть на К абонентов с одним портом у каждого абонента
точно в ст блоков, а N = m(m — 1)/ст + 1. При этом блок-схема B(N, m, ст) задает максимальное N при заданных m и ст, и наоборот, минимальное m при заданных N и ст. В решаемой задаче блоки интерпретируются как копии сети ИсхС^), элементы — как узлы степени m (с m дуплексными портами), а вхождение элемента в блок — как соединение их дуплексным каналом.
В такой интерпретации простейшая расширенная сеть, изоморфная блок-схеме B(N, m, ст), задается двудольным графом, одна доля которого содержит N копий сети ИсхС^), другая доля — N узлов (абонентов), соединенных m ребрами (дуплексными каналами) с разными копиями сети ИсхС^). Между любыми абонентами имеется ст разных путей длины в д ва ребра, и любой путь проходит только через одну сеть ИсхС^). Этот граф мы называем квазиполным графом, а изоморфную ему сеть — простейшей сетью nC(N, m, ст). В ней абонент имеет степень m благодаря подключению к сети ИсхС^) через разветвитель дуплексных каналов 1*m — хаб^).
Пример такой сети при m = 4 и ст = 2 дан на рис. 2. Схема соединений между копиями сети ИсхС(4) и абонентами в сети ПС(7, 4, 2) задается в табл. 1, в которой в каждой строке задается номер сети ИсхС(4) и номера подсоединенных к ней абонентов.
Рис. 3. Разреженное мультикольцо РазМк(7, 4, 2) с диаметром Б = 2
Таблица 2
Межсоединения в разреженном мультикольце РазМк(7, 4, 2)
Возможны следующие варианты организации исходной системной сети ИсхС(т).
• Если сеть ИсхС(т) является неблокируемым коммутатором т*т, то сеть ПС(^ т, ст) является неблокируемым коммутатором NsN, составленным из коммутаторов т^т и хабов(т). При этом сеть РасС(^, т, ст) имеет статическую самомаршрутизацию, при которой абоненты задают бесконфликтные маршруты независимо д руг от друга. Эти маршруты прокладываются между абонентами по прямым каналам (без промежуточной буферизации пакетов). Поэтому сеть ПС(^, т, ст) имеет диаметр Б = 1 и является (ст — 1)-отказоустойчивой по каналам и коммутаторам.
• Если сеть ИсхС(т) является дуплексным кольцом с т узлами, то сеть ПС(^, т, ст) является мультикольцом с N узлами, составленным из N колец с т узлами и хабов(т) [5]. Такую сеть ПС(^ т, ст) мы называем разреженным мультикольцом РазМк(^ т, ст), которое является (ст — 1)-отказоустойчивым по каналам. Пример разреженного мультикольца при т = 4
и ст = 2 приведен на рис. 3. Схема соединений между кольцами сети ИсхС(4) и абонентами в разреженном мультикольце РазМк(7, 4, 2) задается
табл. 2, в которой в каждой строке находятся номер кольца сети ИсхС(4) и номера подсоединенных к нему абонентов.
Мультикольцо РазМк(^ т, ст) также имеет статическую самомаршрутизацию, при которой любой путь между узлами проходит по одному кольцу сети ИсхС(т). Как следствие, мультиколь-цо РазМк(^ т, ст) имеет диаметр Б = |_т/2_|, а не Б = _^2_, как имеет место в дуплексном кольце из N узлов.
• Наконец, если сеть ИсхС(т) является маршрутизатором с диаметром Б, то сеть ПС(^ т, ст) также является маршрутизатором с диаметром Б + 1, который складывается из скачка по ребру и скачков с входа на выход в сети ИсхС(т).
• В общем случае, когда К > т, инвариантное расширение сети ИсхС(К) осуществляется таким образом. Берется N копий сети ИсхС(К), каждая из которых разделяется на I = _К/т_
Таблица 3
Межсоединения в сети РасС(14, 8, 4, 2)
Порты
Копии 1 2 3 4 5 6 7 8
Исх(8) 1-я сеть ПС(7, 4, 2) 2-я сеть ПС(7, 4, 2)
Абоненты
1 1 6 5 4 8 13 12 11
2 2 7 6 5 9 14 13 12
3 3 1 7 6 10 8 14 13
4 4 2 1 7 11 9 8 14
5 5 3 2 1 12 10 9 8
6 6 4 3 2 13 11 10 9
7 7 5 4 3 14 12 11 10
Кольца сети ИсхС(4) Узлы
1 1 6 5 4
2 2 7 6 5
3 3 1 7 6
4 4 2 1 7
5 5 3 2 1
6 6 4 3 2
7 7 5 4 3
равных частей по т портов. К портам 1-й части (1 < 7 < 1) подсоединяются абоненты с номерами (7 — 1)Л^ + у, 1 < у < N которые принадлежат к 1-й сети ПС(^ т, ст). Если К = т + т — ст, то (1 + 1)-я часть образует остаточную сеть ПС*^ — т, т — ст, ст) с абонентами, номера которых задаются как + у, 1 < у < N — т. Остаточная сеть ПС*^ — т, т — ст, ст) изоморфна остаточной блок-схеме В*(И — т, т — ст, ст) [3], где N — т = (т — 1)(т — ст)/ст. В результате расширенная сеть содержит либо Я = tN, либо Я = tN + N — т абонентов и обозначается как РасС(Я, К, т, ст).
• Если сеть ИсхС(К) имеет диаметр Б, то сеть РасС(Я, К, т, ст) имеет диаметр Б + 1. Пример схемы соединений в сети РасС(Я, К, т, ст) при К = 8, т = 4, ст = 2 и Б = 2 дан в табл. 3, а самой сеть Рас(14, 8, 4, 2) — на рис. 4. По построению любые два абонента, номера которых не совпадают по шоё^ соединены друг с другом сетью ИсхС(К) через одну копию сети ИсхС(К), но параллельно через ст разных копий сети ИсхС(К), и используют только маршрутные свойства сети ИсхС(К). С другой стороны, любые два абонента, номера которых совпадают по шоё^ также соединены друг с другом последовательно через одну копию сети ИсхС(К), но параллельно через т разных копий сети ИсхС(К). Эти свойства обеспечивают сохранение в сети РасС(Я) маршрутных свойств сети ИсхС(К). При этом образуются N подмножеств по 1 или 1 + 1 абонентов, с увеличенной в т раз пропускной способностью между ними.
2. РАЗРЕЖЕННЫЕ МУЛЬТИКОЛЬЦА С МАЛЫМ ДИАМЕТРОМ
Разреженное мультикольцо РазМк(^ т, ст) является кольцом с минимальным диаметром Б = _т/2_ скачков, которое заменяет кольцо с N узлами и диаметром Б = _^2_|. Однако в общем случае требуется заменить кольцо с Р узлами, где (р — 1)N < Р < рN разреженным мультикольцом с меньшим диаметром. Такое мультикольцо обозначается как РазМк(Р, N т, ст) и строится таким образом.
Сначала описанным в § 1 методом строится таблица соединений для мультикольца РазМк(Д т, ст) с т кольцами. Для примера табл. 4 задает таблицу соединений в нем при т = 2 и ст = 1. Само муль-тикольцо с такой минимальной таблицей соединений представлено на рис. 5.
Затем минимальная таблица расширяется в таблицу соединений для мультикольца РазМк(Р, N т, ст), которая содержит N строк с номерами по рт узлов в каждой строке. Строки расширенной таб-
Рис. 5. Разреженное мультикольцо при р = 1, т = 2 и о = 1 с диаметром Б = 1
Таблица 4
Минимальная таблица подсоединения узлов к кольцам при т = 2 и о = 1
Кольца ИсхС(2) Узлы
1 1 3
2 2 1
3 3 2
лицы разделены на р зон по т столбцов в каждой. В зоне 1 находятся N узлов с номерами из минимальной таблицы и с тем же размещением по строкам. В зоне 7 (1 < 7 < р) находится узел с номером Ь + (7 — той же строки и в том же месте, что и узел с номером Ь в зоне 1 (1 < Ь < Щ. Для примера табл. 5 задает расширенную таблицу с р = 3, т = 2 и ст = 1, полученную из табл. 4. Для примера мультикольцо РазМк(9, 3, 2, 1), построенное по табл. 5, представлено на рис. 6.
Для построения мультикольца РазМк(Р, N т, ст), узлы из каждой строки расширенной таблицы соединяются друг с другом в одноименном кольце в порядке возрастания их номеров. Для замыкания кольца узел с наибольшим номером подсоединяется к узлу с наименьшим номером. Если оказы-
Таблица 5
Расширенная таблица подсоединения узлов к кольцам при р = 3, т = 2 и о = 1
Кольца
Узлы 1^3
Узлы 4^6
Узлы 7^9
1
2
3
Рис. 6. Разреженное мультикольцо при р = 3, т = 2 и о = 1 с Б = 3
вается, что (р — 1)N < Р < р^ то узлы с номерами больше Р исключаются из расширенной таблицы и из мультикольца, а его кольца замыкаются через оставшиеся узлы с наибольшими номерами. Диаметр мультикольца РазМк(Р, N, т, ст) задается как Б = _рт/2_, где р = \Р/Ы\.
В дальнейшем нам потребуется мультикольцо РазМк(7, 3, 1) с диаметром Б = 1, таблица соединений которого дана в табл. 6, а само мультиколь-цо — на рис. 7. На ее основе описанным методом можно построить мультикольцо РазМк(8, 7, 3, 1) с
р = 2 и Б = 2, РазМк(14, 7, 3, 1) с р = 2 и Б = 2 или мультикольцо РазМк(16, 7, 3, 1) с р = 3 и Б = 3.
3. ПРОСТЕЙШИЕ РАСШИРЕННЫЕ МАРШРУТИЗАТОРЫ
Рассмотрим 8-портовый маршрутизатор Е4 сети «Ангара» [1, 2] с диаметром Б = 1. Возьмем его за исходную сеть Исх(8) и расширим до Я-порто-вого маршрутизатора РасС(Я, 8, т, ст) при разных т и ст. Частично это уже сделано ранее для т = 4 и ст = 2 (см. табл. 3 и рис. 4).
Рис. 7. Разреженное мультикольцо при р = 1, т = 3 и о = 1 с Б = 1
Рис. 8. Маршрутизатор РасС(12, 8, 2, 1) с диаметром Б = 2
Кольца ИсхС(3) Узлы
1 1 7 5
2 2 1 6
3 3 2 7
4 4 3 1
5 5 4 2
6 6 5 3
7 7 6 4
Таблица 7
Межсоединения в маршрутизаторе РасС(12, 8,2, 1)
Копии сети Исх(8)
Порты сети Исх(8)
1 2 3 4 5 6 7 8
1 я 2- я 3- я 4- я
ПС(3, 2, 1) ПС(3, 2, 1) ПС(3, 2, 1) ПС(3, 2, 1)
Абоненты
1 3 4 6 7 9 10 12
2 1 5 4 8 7 11 10
3 2 6 5 9 8 12 11
Таблица 6
Таблица подсоединения узлов к кольцам при р = 1, т = 3 и о = 1
2-я ПС
/ / иг X*) 1-й Е4
1 \/ / 4Й А г X*) 2-й Е4
/ / Дй 3-й Е4
\ / к Ха) 4-й Е4 /
\ / Хз) 5-й Е4
\ \ / 1Х2) 6-й Е4 /
ч \ / 1Хй) 7-й Е4
12 3 4 5 6
7 8
Рис. 9. Маршрутизатор РасС(18, 8, 3, 1) с диаметром Б = 2
Таблица 8
Межсоединения в маршрутизаторе РасС(18, 8, 3, 1)
В минимальном варианте т = 2 и ст = 1. Тогда схема соединений для м аршрутизатора РасС(12, 8, 2, 1) дана в табл. 7, а сам маршрутизатор — на рис. 8.
Аналогично и при т = 3 и ст = 1. Оказывается, что в этом случае Я = 18, как это видно из схемы соединений для РасС(18, 8, 3, 1), задаваемой табл. 8. Сам маршрутизатор с диаметром Б + 1 представлен на рис. 9.
4. МНОГОМЕРНЫЕ ТОРЫ С МАЛЫМИ ДИАМЕТРАМИ
Расширенные маршрутизаторы (см. рис. 4, 7, 8) позволяют создавать г-мерные (г = 1, 2, 3, 4) торы. Для соединения маршрутизаторов в кольцах разных измерений достаточно отсоединить от каждого маршрутизатора по два абонента для каждого измерения. Освободившиеся дуплексные порты необходимо использовать для подсоединения к соседним маршрутизаторам и в направлении «+» и «—» в каждом измерении.
Простейший случай задает применение маршрутизаторов РасС(12, 8, 2, 1) и мультиколец
РазМк(Р, 3, 2, 1) (рис. 10). Характеристики создаваемых торов даны в табл. 9, в которой Р задает число маршрутизаторов в кольце каждого измерения, а М — общее число абонентов в торе, где
М = Рг(12 — 2г). Диаметр Б тора складывается из двух скачков между маршрутизатором и абонентами (источниками и приемником), скачков м еж-ду м аршрутизаторами по кольцам каждого проходимого измерения и двух скачков внутри маршрутизатора при смене измерения и Б = г _рт/2_ + + 2(г - 1) + 1, где р = ГР/Ж
Дальнейшая оптимизация важных характеристик многомерных торов возможна, если их строить из маршрутизаторов РасС(18, 8, 3, 1) по рис. 9 и заменять в них кольца каждого измерения на муль-
Рис. 10. Одномерный тор на базе маршрутизаторов РасС(12, 8, 2, 1) и мультиколец РазМк(Р, 3, 2, 1) с диаметром Б = 3
Таблица 9 Торы из маршрутизаторов РасС(12, 8, 2, 1) и мультиколец РазМк(Р, 3, 2, 1)
Р 3 6 9 12
г М Б М Б М Б М Б
1 30 3 60 4 90 5 120 6
2 72 6 288 8 648 10 1152 12
3 162 9 1296 12 4374 15 10 368 18
Копии Порты сети ИсхС(8)
сети 1 2 3 4 5 6 7 8
ИсхС(8)
1-я ПС 2-я ПС 3-я ПС
1 1 7 5 8 14 12 15 18
2 2 1 6 9 8 13 16 15
3 3 2 7 10 9 14 17 16
4 4 3 1 11 10 8 17 15
5 5 4 2 12 11 9 18 16
6 6 5 3 13 12 10 18 17
7 7 6 4 14 13 11 — —
Таблица 10 Торы из маршрутизаторов РасС(18, 8, 3, 1) и мультиколец РазМк(Р, 7, 3, 1)
тикольца, построенные в § 2. В этом случае характеристики создаваемых торов даны в табл. 10. Значения для табл. 10 рассчитываются по формулам:
М = Рг(18 — 2г). В данном торе маршруты одинаковой длины в каждом измерении расщепляются по трем разным путям, что существенно снижает средние задержки передачи.
Несколько более слабые характеристики имеет 1-отказоустойчивые торы, которые строятся из маршрутизаторов РасС(14, 8, 4, 2) по рис. 4 и мультиколец РазМк(Р, 7, 4, 2) в каждом измерении. Характеристики этих торов задаются в табл. 11. Значения для табл. 11 рассчитываются по формулам: М = Рг(14 — 2г). Однако в данном торе маршруты одинаковой длины в каждом измерении расщепляются по четырем разным путям, что дополнительно снижает средние задержки передачи.
5. СРАВНЕНИЕ С СЕТЬЮ «АНГАРА»
Системные сети современных суперкомпьютеров строятся на базе многопортовых маршрутизаторов, например, единый однокристальный 48-портовый маршрутизатор YARC для 3-мерного тора Gemini и для 4-мерного обобщенного гиперкуба Dragonfly фирмы CRAY [6, 7]. При этом имеется тенденция перехода на топологию гиперкуба как сети с меньшим диаметром и большим быстродействием, но и большей сложности.
В РФ в настоящее время нет таких маршрутизаторов. Имеется функционально полный однокристальный маршрутизатор E4 сети «Ангара» с 8 сетевыми дуплексными портами PCI-express и одним процессорным портом PCI-express [1, 2]. Первоначально предполагалось его использование в одноплатном варианте для построения системной сети в виде 4-мерного тора на M = 4K процессоров и с диаметром в D = 16 скачков (8 маршрутизаторов в кольцах разных измерений). Потом было заявлено о возможности иметь на нем M = 16Kj32K с диаметрами D = 24 j32 скачков (до 16 маршрутизаторов в кольцах). Одноплатный вариант оказался не очень экономичным для построения малых сетей, так как расходовал один м аршрутизатор для подсоединения к сети одного процессора.
Затем был создан однокорпусной 24-портовый маршрутизатор [1, 2, 8] путем сцепления четырех 8-портовых маршрутизаторов. Использование этого м аршрутизатора резко упрощает построение сетей самого разного размера — от д есятков процессоров до нескольких тысяч (в топологии одномерного или двумерного тора). В таком виде сеть «Ангара» считается базовой сетью для построения отечественных суперкомпьютеров.
Заметим, что 24-портовый маршрутизатор имеет внутренний д иаметр в четыре скачка: один скачок от входного порта до соединительного порта в 8-портовом маршрутизаторе, два скачка между 8-портовыми маршрутизаторами и один скачок от соединительного порта до выходного порта. Одна-
r M D M D
1 112 3 224 4
2 686 6 2744 8
3 4116 9 32 928 12
4 24 010 11 384 160 16
14
Таблица 11
Торы из маршрутизаторов РасС(14, 8, 4, 2) и мультиколец РазМк(7р, 7, 4, 2)
P 7 (p = 1) 14 (p = 2)
r M D M D
1 84 4 168 6
2 490 8 1960 12
3 2744 12 21 952 18
4 14 406 16 230 496 24
7
Таблица 12
Сравнительные характеристики торов
РасС(18, 8, 3, 1) Ангара c 24-портовым маршрутизатором
P 7 8 14 16 8 16
r M D M D M D M D M D M D
1 112 3 128 4 224 4 256 5 128 8 256 16
2 686 6 896 8 2 744 8 3584 10 502 13 2048 21
3 4116 9 6144 12 32 928 12 49 152 15 — — — —
4 24 010 11 40 960 16 384 160 16 653 600 20 — — — —
ко в сети для связи между 24-портовыми маршрутизаторами используются четыре дуплексных канала между заданными 8-портовыми маршрутизаторами. Это делает проходную задержку равной одному скачку.
В табл. 12 (справа) представлены характеристики сети «Ангара». При этом максимальное число процессоров опять достигается при размещении 16 маршрутизаторов в кольцах. Однако использование больше 8 маршрутизаторов в кольце не увеличивает его пропускную способность, но увеличивает задержки передачи по нему. Правда, наличие четырех дуплексных колец в каждом измерении в значительной мере снижает эти задержки.
Заметим, что 3-мерный тор на базе 24-портово-го коммутатора уже не может быть создан из-за недостаточного числа портов, что делает невозможным дальнейшее увеличение числа процессоров в сети «Ангара» без увеличения числа узлов в кольцах и задержек передачи по ним.
Также в табл. 12 (слева) приведены характеристики торов, составленных из маршрутизаторов РасС(18, 8, 3, 1) и разреженных мультиколец РазМк(Р, 7, 3, 1).
Видно, что построенный выше одномерный тор имеет в несколько раз меньший диаметр, чем одномерный тор сети «Ангара» при близком числе абонентов. Построенный двумерный тор имеет в два раза меньший д иаметр, чем двумерный тор сети «Ангара» при несколько большем числе абонентов. В остальных случаях построенные торы имеют в несколько раз меньший диаметр и существенно большее число абонентов, чем может обеспечить сеть «Ангара» в любом варианте.
Построенные выше многомерные торы мы считаем оптимальными, так как они построены на базе оптимального распараллеливания сетевой структуры на основе квазиполного орграфа. Она позволяет строить расширенные маршрутизаторы с максимальным числом абонентов при заданных исходных маршрутизаторах. И наоборот, она позволяет иметь минимальный диаметр сети благодаря применению разреженных мультиколец.
Подобное распараллеливание структур сети сопровождается, конечно, увеличением ее аппаратных и кабельных затрат. Оценим их.
Примем, что сложность маршрутизатора пропорциональна квадрату числа портов. Тогда сложность 5К однокорпусного маршрутизатора «Ангара» составляет 5К = 64с, где с — коэффициент пропорциональности. Сложность 5Х одного хаба 1 х3 можно оценить как 5Х = 6с (мультиплексор + демуль-типлексор).
Любой одномерный тор является дуплексным кольцом, к узлам которого подсоединены абоненты (процессоры). Поэтому сложность одномерно-
го тора «Ангара» с 8 корпусами в кольце задается как ¿А 1 = 2 048с.
Любой двумерный тор является сетью, через узлы которой проходят дуплексные кольца разных измерений, что обеспечивает наличия в нем квадратичного числа узлов и абонентов. Поэтому сложность двумерного тора «Ангара» с 8 корпусами в кольце каждого измерения задается как ¿А 2 = 16 384с. Они содержат МА1 = 128 и МА 2 = 502 абонентов соответственно. Поэтому их удельная сложность составляет 5А х = ¿А Х/Мк х = 16с и 5А 2 =
= ¿А,2/МА,2 = 32с. ' ' ' '
Маршрутизатор РасС(18, 8, 3, 1) содержит 7 маршрутизаторов Е4 сложности 5К и 18 хабов 1 х3 сложности 5Х. В результате сложность ¿Р расширенного м аршрутизатора составляет ¿Р = 7* 64с + + 18x6с = 556с.
Одномерный тор содержит 7 таких маршрутизаторов и еще 14 хабов для образования разреженных мультиколец общей сложности ¿Р х = 3976с. Он содержит МР х = 112 абонентов. Поэтому его удельная сложность составляет 5Р х = 35,5с.
Двумерный тор содержит 49 таких маршрутизаторов и еще 28 хабов в каждом одномерном измерении для образования разреженных мультиколец общей сложности ¿Р 2 = 28 420с. Он содержит МР 2 = 686 абонентов. Поэтому его удельная сложность составляет s-?2 = 41,4с.
Введем комплексную характеристику торов К как произведение диаметра на удельную сложность. Тогда КА ! = 128с и КР 1 = 106,5с, аналогично КА2 = 416с и КР2 = 250,2с. Отсюда можно сделать вывод, что повышенная сложность торов из расширенных маршрутизаторов с избытком обеспечивает их малые диаметры. При этом одновременно обеспечивается и большее ч исло абонентов. Однако маршрутизаторы с разреженными мульти-кольцами имеют в 7/4 раза больший расход кабеля.
ЗАКЛЮЧЕНИЕ
Рассмотрен метод построения оптимальных системных сетей с топологией многомерных торов.
Оптимизация в работе осуществляется по таким важным функциональным характеристикам сети, как число ее абонентов и задержки передачи, задаваемые диаметром сети. Оптимизация осуществляется в элементной базе малопортовых маршрутизаторов и хабов путем построения или применения сетей с топологией квазиполных графов.
Применяется метод инвариантного по маршрутным свойствам расширения сетей для увеличения в них числа абонентов и уменьшения их диаметра в заданной элементной базе.
Показана возможность применения рассмотренного метода для повышения масштабируемости и быстродействия отечественной системной сети «Ангара».
Совместная удельная сложность по числу абонентов и задержкам передачи в оптимизированной сети оказалась меньше, чем у сети «Ангара».
ЛИТЕРАТУРА
1. Симонов А.С., Макагон Д.В., Жабин И.А. и др. Первое поколение высокоскоростной коммуникационной сети «Ангара» // Наукоемкие технологии. — 2014. — Т. 15, № 1. — С. 21—28. [Simonov, A.S., Makagon, D.V., Zhabin, I.A., et al. Pervoe pokolenie vysokoskorostnoi kommunikatsionnoi seti «Angara» // Naukoemkie tekhnologii. — 2014. — Vol. 15, no. 1. — P. 21—28. (In Russian)]
2. Stegailov, V., Agarkov, A., Biryukov, S., et al. Early Performance Evaluation of the Hybrid Cluster with Torus Interconnect Aimed at Molecular Dynamics Simulations // International Conference on Parallel Processing and Applied Mathematics. — Springer. — Cham. — 2017. — P. 327—336.
3. Холл М. Комбинаторика. Главы 10—12. — Мир. M. — 1970. — 424 с. [Hall, M. Combinatorial Theory. — Waltham: Blaisdell Publishing Company, 1967. (In Russian)]
4. Каравай М.Ф., Подлазов В.С. Метод инвариантного расширения системных сетей многопроцессорных вычислительных систем. Идеальная системная сеть // Автоматика и телемеханика. — 2010. — № 12. — С. 166—176. [Karavay, M.F., Podlazov, V.S. An Invariant Extension Method for System Area
Networks of Multicore Computational Systems. An Ideal System Network // Automation Remote Control. — 2010. — Vol. 71, no. 12. — P. 2644—2654.]
5. Подлазов В. С. Повышение характеристик многомерных торов // Управление большими системами. — 2014. — Вып. 51. — С. 60—81. [Podlazov, V.S. Boosting Performance of Multidimensional Tores // Automation and Remote Control. — 2017. — Vol. 78, no. 1. — P. 167—179.]
6. Alverson, R, Roweth, D. and Kaplan, L. The Gemini System Interconnect // 18th IEEE Symposium on High Performance Interconnects. — 2009. — P. 3—87.
7. Alverson, R., Froese, E, Kaplan, L. and Roweth, D. Cray XC® Series Network. — URL: https://www.cray.com/sites/default/ files/resources/CrayXCNetwork.pdf.
8. Каравай М.Ф., Подлазов В. С. Расширение возможностей системной сети «Ангара» // Проблемы управления. — 2020. — № 2. — С. 47—56. [Karavai, M.F., Podlazov, V.S. Expanding the capabilities of the Angara system area network // Control Sciences. — 2020. — No. 2. — P. 47—56. (In Russian)]
Статья представлена к публикации членом редколлегии В.М. Вишневским.
Поступила в редакцию 16.04.2020, после доработки 10.06.2020.
Принята к публикации 18.06.2020.
Каравай Михаил Федорович — д-р техн. наук, Н mkaravay@ipu.ru,
Подлазов Виктор Сергеевич — д-р техн. наук, Н podlazov@ipu.ru,
Институт проблем управления им. В.А. Трапезникова РАН, г. Москва.
OPTIMUM MULTIDIMENSIONAL TORI BASED ON LOW-PORT ROUTERS AND HUBS
M.F. Karavay1, V.S. Podlazov2
V.A. Trapeznikov Institute of Control Sciences of Russian Academy of Sciences, Moscow, Russia
1 2 'H mkaravay@ipu.ru, 2H podlazov@ipu.ru
Abstract. A method for constructing optimal system networks with the topology of multidimensional tori is considered. The optimization was performed according to such important functional characteristics of the network as the number of its subscribers (processors) and transmission delays between them, set by the network diameter. Optimization was carried out in the element base of low-port routers and splitters of duplex channels (hubs) by using networks with the topology of quasi-complete graphs. Optimization is realized due to the invariant expansion of the multidimensional torus and the duplex channel with preservation of their route properties such as the routing method and maximum transmission delays (network diameter). It is shown that optimization leads to an increase in the number of subscribers with constant delays and to a reduction in delays with a constant number of subscribers. Optimization is accompanied by some complication of the network in terms of circuit and cable costs. In this case, the measure of complication (expressed in the number of times) is less than the measure of joint improvement of both characteristics. The comparative characteristics of the optimal tori and tori of the Angara domestic system network are given. A substantial increase in the number of subscribers and a decrease in the diameters of optimal tori in comparison with the Angara network have been proven.
Keywords: system-area networks of supercomputers, networks with the topology of multidimensional tori, networks with the topology of quasi-complete graphs, invariant expansion of networks, number of network subscribers and network diameter, optimization of network characteristics, Angara network.
