CC BY
4
И нформационные технологии в управлении
УДК 004.724.2 + 004.272.43 DOI: http://doi.Org/10.25728/pu.2020.2.5
РАСШИРЕНИЕ ВОЗМОЖНОСТЕЙ СИСТЕМНОЙ СЕТИ «АНГАРА»
В.С. Подлазов, М.Ф. Каравай
Рассмотрен способ расширения возможностей системной сети «Ангара» благодаря совместному применению собственных 24-портовых маршрутизаторов и рыночных «хабов» 1x3 и 1 х4. Способ основан на применении сетей с топологией квазиполных графов, построенных в расширенном элементном базисе, состоящем из коммутаторов (маршрутизаторов) и хабов дуплексных каналов. Эти сети лежат в основе метода инвариантного расширения произвольных сетей, сохраняющего задержки передачи расширяемых сетей и наращивающего ч исло их абонентов. Этим методом из м аршрутизаторов сети «Ангара» построен распределенный расширенный маршрутизатор, и на его основе построены сети со структурой 1, 2, 3, 4-мерных торов либо содержащие существенно большее ч исло абонентов при одинаковом диаметре сети, либо имеющие меньший диаметр при одинаковом числе абонентов по сравнению с сетью «Ангара». Фактически рассмотренный способ дал возможность увеличить число процессоров, сократить диаметр и повысить канальную отказоустойчивость сети.
Ключевые слова: системные сети суперкомпьютеров, сеть «Ангара», сети с топологией квазиполных графов, инвариантное расширение сетей, число абонентов сети и диаметр сети, масштабирование и быстродействие.
ВВЕДЕНИЕ
В настоящее время используется небольшое число базовых структур системных сетей суперкомпьютеров — сложенная сеть Клоза, толстое д е-рево, многомерный тор, обобщенный гиперкуб и двухуровневая склейка полных графов. Среди них нет идеальных — выбор той или иной структуры сразу задает и ряд ее ограничений-недостатков. Так, сети с топологией ^-мерных торов наименее сложные по схемным затратам, но обладают наибольшими задержками передачи данных. Поэтому разработка методов устранения недостатков выбранной структуры в рамках ее базовых возможностей является актуальной задачей совершенствования современных системных сетей. Она представляет собой задачу проектного управления характеристиками сети с целью улучшения (даже оптимизации) функционально важных ее характеристик.
Системные сети современных суперкомпьютеров строятся на базе многопортового маршрутизатора — единого однокристального 48-портового
маршрутизатора YARCдля 3-мерного тора Gemini и для 4-мерного обобщенного гиперкуба Dragonfly фирмы CRAY [1, 2]. При этом наблюдается тенденция перехода на топологию гиперкуба как сети с меньшим диаметром и большим быстродействием.
В России в настоящее время нет таких м аршрутизаторов. Имеется функционально полный однокристальный маршрутизатор сети «Ангара» с 8-ю дуплексными портами [3]. Он предназначен для построения системной сети в виде 4-мерного тора с числом узлов R = 4 K и диаметром D = 16 скачков. Потом было заявлено о возможности иметь на нем R = 16^32 K процессоров. Если это увеличение достигается путем удвоения числа узлов в измерениях, то оно понижает быстродействие сети как из-за увеличения д иаметра д о D = 32, так и из-за увеличения задержек в очередях к кольцам, так как отдельное кольцо параллельно пропускает при равномерном трафике в среднем не более 8 пакетов [4]. В других торах [1] последняя проблема снимается благодаря применению параллельных колец в каждом измерении.
Таблица 1
Характеристики сети «Ангара» в формате R/D (число узлов/диаметр)
Число маршрутизаторов в измерении 2 8 16
1-мерная решетка 40/6 128/11 256/19
1-мерный тор 32/6 128/8 256/12
2-мерный тор 32/6 502/13 2048/21
В настоящей статье рассматриваются два подхода к расширению возможностей сети «Ангара»: подход снизу — путем расширения 24-портового маршрутизатора и подход сверху — путем расширения исходной сети. При этом рассматриваются разные критерии формирования структуры сети — по минимальному диаметру, по максимальному числу абонентов и по сложности сети, выраженной в числе 24-портовых маршрутизаторов. Считается, что «хаб» имеет д иаметр в 1 скачок — на пути к процессору.
В работе [5] было предложено создавать сборные маршрутизаторы с большим числом портов путем сцепления нескольких (двух) маршрутизаторов. Для сети «Ангара» этот подход был реализован при создании однокорпусного 24-портового маршрутизатора [6—8] путем сцепления четырех 8-портовых маршрутизаторов. Применение такого маршрутизатора резко упрощает построение сетей самых разных размеров — от десятков процессоров до нескольких их тысяч (в топологии 1-мерной решетки, 1-мерного или 2-мерного тора). В таком виде сеть «Ангара» считается базовой сетью для построения отечественных суперкомпьютеров.
Заметим, что 24-портовый маршрутизатор имеет внутренний диаметр в 4 скачка: 1 скачок от входного порта д о соединительного порта в 8-пор-товом маршрутизаторе, 2 скачка между 8-портовыми маршрутизаторами и 1 скачок от соединительного порта д о выходного порта. Однако в сети для связи между 24-портовыми маршрутизаторами применяются 4 дуплексных канала: между заданными 8-портовыми м аршрутизаторами. Это д елает проходную задержку равной 1 скачку.
В табл. 1 представлены типовые структуры сети «Ангара» и их характеристики. Видно, что решетку разумно применять только в минимальном варианте, а торы, наоборот, в вариантах со многими маршрутизаторами. Заметим, что 3-мерный тор на базе 24-портового коммутатора уже не может быть создан из-за недостаточного числа портов, что делает невозможным дальнейшее увеличение числа процессоров в сети «Ангара» без увеличения числа узлов в кольцах и задержек передачи по ним.
Спектр характеристик сети «Ангара» можно существенно расширить, если воспользоваться внешней сцепкой 24-портовых маршрутизаторов с «хабами» 1x3; 8-портовый маршрутизатор одновременно является и «хабом» 1x3. Однако проще применять «хабы» в виде имеющихся на рынке раз-ветвителей 1x3 или 1x4 дуплексных каналов интерфейса PCI-express. В идеальном случае «хаб» размещается на материнской плате процессора, т. е. применяется абонент сети с внутренним «хабом».
1. ИНВАРИАНТНОЕ РАСШИРЕНИЕ ПРОИЗВОЛЬНЫХ СЕТЕЙ
Рассмотрим задачу инвариантного расширения произвольной системной сети (СС) [9]. Пусть имеется исходная СС (рис. 1), объединяющая К абонентов — ИсхС(К). Необходимо построить расширенную сеть РасС(Я), объединяющую Я > К абонентов, которая состоит из копий сетей ИсхС(К), имеющих непересекающиеся наборы абонентов, и сохраняет ее маршрутные свойства.
Например, сеть (см. рис. 1) можно расширить, увеличив число абонентов втрое и число портов каждого абонента вдвое и сохранив как инвариант возможность соединения между любыми двумя абонентами только через одну сеть ИсхС(К). Для этого потребуются три копии сети ИсхС(К) и каждого абонента подсоединить к двум разным копиям сети ИсхС(К). Конкретные схемы соединений при заданных числе портов абонента т и исходной сети К рассматриваются далее. Заметим, что маршрутные свойства расширенной сети остались такими же, как в исходной сети.
Рис. 1. Исходная произвольная сеть на К абонентов с одним портом у каждого абонента
В данной работе маршрутные свойства — это способы маршрутизации пакетов д анных, которые обеспечивают минимальные их задержки при передаче (минимальный диаметр) и максимальное число абонентов сети (процессоров).
Решение задачи расширения сети ищется путем увеличения числа портов у абонентов до m > 1 и применения нескольких копий сети ИсхС(К), имеющих разные наборы абонентов. Конкретно, решением является расширенная сеть РасС(Я), имеющая структуру двудольного графа, в котором все Щш) узлов одной доли имеют одинаковые степени К, а все Я узлов другой доли — одинаковые степени ш. Здесь функция Щш) еще не задана, и она определяется далее. Ребра между узлами разных долей проводятся так, что между любыми двумя узлами одной доли имеются только пути длины 2, каждый из которых проходит через один узел другой доли. Таких путей должно быть не менее ст > 1, и все они должны проходить через разные узлы другой доли.
В расширенной сети РасС(Я) копии ИсхС(К) трактуются как вершины одной доли двудольно -го графа, абоненты с ш дуплексными портами — как вершины другой его доли, а дуплексные каналы между ними — как его ребра. Иначе говоря, РасС(Я) — это сеть, к которой подсоединено Я абонентов и которая состоит из N копий ИсхС(К), к каждой из которых подсоединено точно К разных абонентов, и каждый абонент подсоединен к ш копиям ИсхС(К), и каждый абонент соединяется с любым другим абонентом не менее чем через ст > 1 разных копий ИсхС(К).
Из приведенного описания следует, что в сети РасС(Я) любые два абонента соединены друг с другом через одну сеть ИсхС(К). Это означает сохранение в сети РасС(Я) маршрутных свойств сети ИсхС(К), которые оказываются инвариантом рассмотренного метода расширения. В частности, задержки доставки пакетов данных в сети РасС(Я) оказываются практически неизменными. Кроме того, такое расширение может при ст > 1 обеспечить и канальную отказоустойчивость сети РасС(Я) или, наоборот, повысить ее удельную (на один процессор) пропускную способность.
В простейшем двудольном графе выбирается К = ш и Я = ^ш). Если при этом значение ш выбирается минимальным, при котором между любыми двумя вершинами одной доли существует точно ст путей длины 2, то такой двудольный граф мы называем минимальным квазиполным графом.
Здесь возникает два вопроса: существуют ли квазиполные графы и как их построить? Ответ на первый дает комбинаторика, которая давно изучает такие объекты, как симметричные блок-схемы,
изоморфные минимальным квазиполным графам [9, 10]. К сожалению, полного ответа на второй вопрос комбинаторика не д ает, и в работе [11] рассматривается ряд способов построения некоторых симметричных блок-схем.
Необходимое условие существования квазиполных графов задается выражением N = ш(ш — - 1)/ст + 1 [10].
В математической теории блок-схемы строятся как оптимальные объекты с максимальным N при заданных ш и ст и минимальным числом связей между ее ч астями. Поэтому все расширения исходной сети с помощью минимальных квазиполных графов являются оптимальными по числу абонентов и по уровню задержек в передачах между абонентами. Правда, эта оптимизация достигается путем увеличения сложности сети. Это ожидаемый результат, так как из трех противоречивых параметров сети (числа узлов, задержек передачи и сложности сети) можно оптимизировать только два.
Любой квазиполный граф задается таблицей межсоединений, состоящей из N строк и ш + 1 столбцов. Первый столбец содержит номера копий ИсхС(ш), занумерованных от 1 до N. В ш ячейках 1-й строки, 1 < I < N, содержатся номера абонентов, соединенных дуплексным каналом с 1-й копией ИсхС(ш). Табл. 2 задает квазиполный граф при ш = 3 и ст = 1.
Сеть РасС(Л^) со схемой минимального квазиполного графа называется простейшей СС и обозначается как ПРС(^ ш, ст). Например, табл. 1 задает также межсоединения в ПРС(7, 3, 1). На рис. 2 изображена схема ПРС(7, 3, 1) в виде минимального квазиполного графа.
Табл. 3 задает ПРС(7, 4, 2) с ст = 2 разными путями между любыми двумя абонентами. На рис. 3 изображена схема этой расширенной СС в виде минимального квазиполного графа, жирными ребрами выделены разные пути между двумя парами абонентов, отмеченных разными заливками.
Задача построения расширенной сети РасС(Я) решается следующим образом. Увеличивается чис-
Таблица 2
Межсоединения в квазиполном графе при т = 3 и а = 1
Копии ИсхС(3) Абоненты
1 1 7 5
2 2 1 6
3 3 2 7
4 4 3 1
5 5 4 2
6 6 5 3
7 7 6 4
Рис. 2. Схема ПРС(7, 3, 1) в виде минимального квазиполного графа
Рис. 3. Схема ПРС(7, 4, 2) в виде минимального квазиполного графа
ло дуплексных портов абонента до т. Берется N копий ИсхС(К) с К = гт, и к ним подсоединяется Я = N абонентов так, что каждый абонент соединяется с любым абонентом последовательно только через одну копию ИсхС(К), и любая пара абонентов соединяется ч ерез ст разных сетей ИсхС(К).
Таблица 3
Межсоединения в простейшей СС при т = 4 и а = 2
Таблица межсоединений РасС(Я) формируется следующим образом. Различные копии ИсхС(К) размещены по портам в N строках таблицы, а различные ПРС(^ т, ст) — в прямоугольных областях таблицы шириной в т столбцов. В табл. 4 приведен пример расширения сети ИсхС(9) в сеть РасС(21) на базе сети ПРС(7, 3, 1).
По построению в сети РасС(Я) любые два абонента, номера которых не совпадают по шоё^ соединены друг с другом последовательно только через одну копию ИсхС(К) и используют только ее маршрутные свойства. Наоборот, любые два абонента, номера которых совпадают по шоё^ соединены друг с другом последовательно через т разных копий ИсхС(К). Эти свойства обеспечивают сохранение в сети РасС(Я) маршрутных свойств сети ИсхС(К). При этом образуются N подмно-
Копии ИсхС(4) Абоненты
1 1 2 3 4
2 1 2 5 7
3 1 3 5 6
4 1 4 6 7
5 2 3 6 7
6 2 4 5 6
Рис. 4. Схема сети РасС(14) в виде двудольного графа
жеств по г абонентов, с увеличенной в ш раз пропускной способностью в сети РасС(Я) между ними.
Аналогично, в табл. 5 приведен пример расширения сети ИсхС(8) в сеть РасС(14) на базе сети ПРС(7, 4, 2). Схема сети Рас(14) представлена на рис. 4.
2. РАСШИРЕНИЕ СНИЗУ
Простейшая сеть «Ангара» (минимальная 1-мерная решетка) состоит из = 2 24-портовых маршрутизаторов, объединяет N1^ = 40 процессоров, имеет д иаметр = 5 скачков и сложность ^ =
Расширим описанным выше методом 24-пор-товый маршрутизатор до 56-портового маршрутизатора с пх = 56 абонентами путем применения «хабов» 1x3 (рис. 5). Он имеет д иаметр йх = 3 скачка и содержит = 7 24-портовых маршрутизаторов и 56 «хабов». В дальнейшем рассматривается идеальный случай размещения «хабов» внутри абонентов. Поэтому принимаем, что расширенный маршрутизатор имеет сложность ^ = шг
Для организации связи между такими маршрутизаторами в одномерном торе исключаются абоненты 1, 15, 29, 43 и 2, 16, 30, 44, а их 24 порта используются для связи слева и справа. При этом число подключаемых абонентов уменьшается на 8 (до 48). В двумерном торе дополнительно используются порты абонентов 8, 22, 36, 50 и 9, 23, 37, 51, а их 24 порта используются для связи сверху и снизу. Опять число подключаемых абонентов уменьшается еще на 8 (до 40).
Таблица 4
Межсоединения в сети РасС(21), состоящей из семи копий ИсхС(9) со встроенными в них тремя копиями ПРС(7, 3, 1)
Копии ИсхС(9)
Порты копий ИсхС(9)
1 2 3 4 5 6 7 8 9
1-я ПРС 2-я ПРС 3-я ПРС
1 7 5 8 14 12 15 21 19
2 1 6 9 8 13 16 15 20
3 2 7 10 9 14 17 16 21
4 3 1 11 10 8 18 17 15
5 4 2 12 11 9 19 18 16
6 5 3 13 12 10 20 19 17
7 6 4 14 13 11 21 20 18
Таблица 5
Межсоединения в сети РасС(14), состоящей из семи копий ИсхС(8) со встроенными в них двумя копиями ПРС(7, 4, 2)
Копии ИсхС(8)
Порты копий ИсхС(8)
1 2 3 4 5 6 7 8
1-я ПРС (7, 4, 2) 2-я ПРС (7, 4, 2)
1 2 3 4 8 9 10 11
1 2 5 7 8 9 12 14
1 3 5 6 8 10 12 13
1 4 6 7 8 11 13 14
2 3 6 7 9 10 13 14
2 4 5 6 9 11 12 13
3 4 5 7 10 11 12 14
Рис. 5. Схема построения сети РасС(56) из семи копий ИсхС(24) со встроенными в них восемью копиями ПРС(7, 3, 1)
Составим кольцо (1-мерный тор) с «хабами» из т2 56-портовых маршрутизаторов. Оно имеет диа-
метр в d2 = т2/2 + 5 скачков, объединяет п2 = 48т2 абонентов и имеет сложность s2 = 7т2.
Аналогичное кольцо сети «Ангара» состоит из М2 24-портовых маршрутизаторов, имеет диаметр Б2 = М2/2 + 4 скачков, объединяет Щ = 16М2 процессоров и имеет сложность ¿2 = М2.
При т2 = М2 получаем, что п2 = 3^, d2 = Б2 + 1 и s2 = 7Б2, т. е. сеть с «хабами» содержит в 3 раза большее ч исло абонентов, имеет почти равный д иаметр и в семь раз большую сложность.
При равном числе процессоров п2 = Щ получаем, что т2 = М2/3, d2 и Б2/3 + 3,7 и s2 = 7Б2/3, т. е. сеть с «хабами» имеет несколько меньший диаметр, но и в 2,3 раза большую сложность. Размер диаметра более точно определяется при задании М2. При М2 = 8 имеем Б2 = 8 и d2 и 6,3. При М2 = 16 имеем Б2 = 12 и d2 и 7,7.
Наконец, при одинаковой сложности s2 = ¿2 получаем, что т2 = М2/7 d2 и Б2/7 + 4,24 и п2 = = 48М2/7 = ЪN2/7, т. е. сеть с «хабами» имеет несколько м еньший д иаметр, но и содержит в 2,3 раза меньшее число абонентов. При М2 = 8 имеем Б2 = 8 и d2 и 5,7. При М2 = 16 имеем Б2 = 12 и d2 и 6,76.
Составим теперь 2-мерный тор с «хабами» из т3 56-портовых маршрутизаторов в каждом измерении. Он имеет д иаметр в d3 = т3 + 6 скачков, объединяет п3 = 40 т3 абонентов и имеет сложность
2
s3 = 7 т3.
Аналогичный 2-мерный тор сети «Ангара» из М3 24-портовых маршрутизаторов в каждом измерении имеет д иаметр Б3 = М3 + 5 скачков, объединяет N3 = 8 М3 процессоров и имеет сложность ¿3= М2.
При т3 = М3 получаем, что d3 = Б3 + 1, п2 = 5N3 и s3 = 7Б3, т. е. сеть с «хабами» при почти равном диаметре содержит в 5 раз большее число абонентов, но и имеет в 7 раз большую сложность.
При равном числе процессоров п3 = Щ получа-
ем,
, что т3 = М,/75 = М3/2,2, d3 = Д,/2,2 + 4,7
и
s3 = 7т32 = 7^/5, т. е. сеть с «хабами» имеет несколько меньший д иаметр, но и в 7/5 раз большую сложность. Размер диаметра более точно определяется при задании М3. Если М3 = 8 и Б3 = 13, то d3 и 8,1. Если же М3 = 16 и Б3 = 21, то d3 и 11,7.
Наконец, при одинаковой сложности s3 = ¿3
получаем, что т3 = М3/л/7, d3 = Л/2,6 + 4,9
и
п3 = 40(М3/л/7 )2 = 5^/7, т. е. сеть с «хабами» имеет несколько меньший д иаметр и содержит в 7/5 раз меньшее число процессоров. Если М3 = 8 и Б3 = 13, то ё3 и 9,9. Если же М3 = 16 и Б3 = 21, то ё3 и 13.
В табл. 6 сравниваются характеристики сети «Ангара» с «хабами» 1x3 и без них. Расширенный м аршрутизатор сравнивается с минимальной 1-мерной решеткой. Видно, что д иаметр сети можно уменьшить, а число абонентов увеличить в несколько раз путем некоторого увеличения сложности сети.
Дальнейшее улучшение характеристик сети можно получить благодаря применению расширенного маршрутизатора в 3- и 4-мерных торах. Сеть «Ангара» не может иметь топологию 3-мерного тора, так как в ней не хватает портов.
Для организации связи между расширенными маршрутизаторами в 3-мерном торе исключаются еще 8 абонентов, а их 24 порта используются для связи вперед и назад. При этом число подключаемых абонентов уменьшается еще на 8 (до 32).
Составим теперь 3-мерный тор из т4 расширенных м аршрутизаторов в каждом измерении. Он имеет д иаметр йА = 3т4/2 + 7 скачков и объединяет
п4 = 32 т4 абонентов.
Таблица 6
Сравнительные характеристики сети «Ангара» с внутренними «хабами» при расширении снизу
Исходная сеть «Ангара» Б N 5 & =
Расширенный маршрутизатор Б/2 7 N/3 75/2 3^/2
1-мерный тор с расширенным маршрутизатором М = т2 Б + 1 -Б/3 + 3,7 -Б/7 + 4,2 3N N 3N/7 75 75/3 5 7^/3 7^/3 7^/3
2-мерный тор с расширенным маршрутизатором М3 = т3 Б + 1 -Б/2,2 + 4,7 -Б/2,6 + 4,9 5N N 5N/7 75 75/5 5 7^/5 7^/5 7^/5
Таблица 7
Характеристики сети «Ангара» в 3- и 4-мерном торе
3- мерный тор 4- мерный тор
т4 N4 Б4 т5 N5 Б5
3 864 10 3 1944 12
4 2048 13 4 6144 16
5 4000 14,5 5 15 000 18
6 6912 16 6 31 104 20
Аналогично составим 4-мерный тор из т5 расширенных м аршрутизаторов в каждом измерении. Он имеет диаметр ё5 = 2т5 + 8 скачков и объединяет п5 = 24 т5 абонентов.
Характеристики этих торов приведены в табл. 7.
В рамках данного подхода можно создать расширенный коммутатор и в отдельном корпусе на 36, 56 и 78 портов. Для этого достаточно взять 3, 7, и 13 сцепок 8-портовых маршрутизаторов совместно с 24 «хабами» 1x2, 1x3 и 1x4, размещенными между сцепками маршрутизаторов и внешними портами корпуса. Такой расширенный «хаб» имеет большие сложность и энергопотребление, но позволяет применять процессоры без «хабов». Такие сложные расширенные маршрутизаторы д ают возможность дополнительно сокращать диаметры сетей или увеличивать число процессоров, когда применяются абоненты с «хабами».
3. РАСШИРЕНИЕ СВЕРХУ
Расширим минимальную решетку «Ангары», применяя «хабы» 1x3. Эта решетка состоит из
= 2 24-портовых маршрутизаторов, имеет диаметр Бх = 6 скачков, одержит = 40 процессоров и имеет сложность 5Х = Мг В результате расширения получим сеть с «хабами», которая состоит из тг = 14 24-портовых коммутаторов, имеет д иаметр й^ = 7 скачков, содержит Ní = 91 абонентов и имеет сложность ^ = 75г
Аналогично расширим 1-мерный тор «Ангары», который состоит из М2 24-портовых маршрутизаторов, имеет д иаметр в Б2 = М2/2 + 4 скачков, объединяет И2 = 16М2 процессоров и имеет сложность
= м2.
Расширенная сеть с «хабами» состоит из 7 торов с т2 24-портовыми маршрутизаторами каждый, имеет диаметр й2 = т2/2 + 5 и содержит п2 = 7|_16т2/3] процессоров и имеет сложность
= 7т2.
Если т2 = М2, то й2 = Б2 + 1, п2 = 7_^/3] и и 7И2/3 и 52 = 752.
Если п2 = И2, то т2 и 3М2/7, й2 и 3Б2/7 + 3,3 и 52 = 352. При М2 = 8 имеем Б2 = 8 и й2 и 6,7, а при М2 = 16 имеем Б2 = 12 и й2 и 8,3.
Если 52 = ¿2, то т2 = М2/7, й2 и Б2/7 + 4,4 и п2 = 7_16т2/3] и N3/3. При М2 = 8 имеем Б2 = 8 и й2 и 5,5, а при М2 = 16 имеем Б2 = 12 и й2 и 6,1.
Аналогично расширим 2-мерный тор «Ангары». Расширенная сеть с «хабами» состоит из семи 2-мерных торов, каждый из которых имеет т3
24-портовых маршрутизаторов в каждом измерении. Расширенная сеть имеет диаметр в й3 = т3 + 6
скачков, объединяет п3 = 7|_8 т^/З] абонентов и 1 2
имеет сложность 53 = 7 т3.
Исходный 2-мерный тор сети «Ангара» состоит из М3 24-портовых маршрутизаторов в каждом измерении, имеет диаметр в Б3 = М3 + 5 скачков,
объединяет Щ = 8 М3 процессоров и имеет слож-
2
ность ¿3 = М3 .
Если т3 = М3, то й3 = Б3 + 1, п3 = 7_Щ3/3] и и 7Щ2/3 и 53 = 7Б2.
Таблица 10
Сравнительные характеристики сети 1-отказоустойчивой сети «Ангара» с внутренними «хабами» 1 х4
Если п3 = N3, то т3 и 7(3/7) М3 = 0,65М3, й3 и 0,65Б3 + 2,75 = Б3/1,5 + 2,75 и 53 = 3Б3. При М3 = 8 имеем Б3 = 13 и й3 и 11,2, а при М3 = 16 имеем Б3 = 21 и й3 и 16,4.
Если 53 = ¿3, то т3 = М3/л/7, й3 и Б3/2,6 + 4,1 и п3 = 7_8т32/3] и Щ3/3. При М3 = 8 имеем Б3 = 13 и й2 и 9,1, а при М2 = 16 имеем Б2 = 21 и й2 и 12,2.
Таблица 8
Сравнительные характеристики сети «Ангара» с внутренними «хабами» 1x3 при расширении сверху
Исходная сеть «Ангара» Б N 5 5 = Б/Ы
Расширение минимальной сети 7Б/6 9Щ/4 7 Б -35
Расширенный 1-мерный тор М2 = т2 Б + 1 7Щ/4 75 45
-3Б/7 + 3,3 ~Б/7 + 4,4 N N/3 3Б Б 35 35
Расширенный 2-мерный тор М3 = т3 Б + 1 7Щ/3 7Б 35
~Б/1,5 + 2,4 ~Б/2,6 + 3,5 N N/3 3Б Б 35 35
Таблица 9
Диаметры сети «Ангара» с внутренними «хабами» 1 х 3 при расширении снизу и сверху
Б 1-мерный тор 2-мерный тор
8 12 13 21
Снизу (п = N 6,3 7,7 8,1 11,7
Снизу (5 = ¿) 5,7 6,8 9,9 13
Сверху (п = N 6,7 8,3 11,2 16,4
Сверху (5 = ¿) 5,5 6,1 9,1 12,2
Исходная сеть «Ангара» Б N ¿ 5 = Б/Ы
Расширение минимальной сети 7Б/6 7Ж/4 7Б 45
Расширенный 1-мерный тор М2 = т2 Б + 1 7 N/4 7Б 45
4Б/7 + 3,7 N 4Б 45
Б/7 + 4,4 N/4 45
Расширенный 2-мерный тор М3 = т3 Б + 1 7 N/4 7Б 45
~Б/1,33 + 2,25 N 4Б 45
~ Б/2,6 + 4,1 N/4 8 45
В табл. 8 сравниваются характеристики сети «Ангара» с «хабами» 1x3 и без них при расширении сверху.
В табл. 9 сравниваются диаметры й торов при расширении снизу и сверху. Табл. 9 не выявляет превосходства по й какого-либо подхода к расширению сети. Однако сравнение табл. 7 и 8 показывает меньшую в 1,7 раза удельную сложность при расширении снизу.
Однако при расширении сверху можно создавать канально-отказоустойчивые системные сети. В частности, если взять сеть ПРС(7, 4, 2), задаваемую табл. 3 и рис. 3, то можно создать 1-отка-зоустойчивую сеть с «хабами», представленную в табл. 10.
Расширим минимальную решетку «Ангары», применяя «хабы» 1x4. В результате расширения получим сеть с «хабами», которая имеет диаметр йх = 7 скачков, содержит пх = 70 абонентов, состоит из т1 = 14 24-портовых коммутаторов и является 1-отказустойчивой по каналам.
Аналогично расширим 1-мерный тор «Ангары», применяя «хабы» 1x4. Расширенная 1-отка-зустойчивая сеть с «хабами» состоит из 7 торов с т2 24-портовыми маршрутизаторами, имеет диаметр й2 = т2 + 5, содержит п2 = 7(16т2/4) = 28т2 абонентов и является 1-отказустойчивой по каналам. Она имеет сложность 52 = 7т2.
Если т2 = М2, то й2 = Б2 + 1 и п2 = 7Щ2/4. При этом сложность отказоустойчивой сети с «хабами» составляет 52 = 7Б2.
Если п2 = Щ2, то т2 = 4М2/7, й2 = 4Б2/7 + 3,7 скачков и 52 = 4<5*2. При М2 = 8 имеем Б2 = 8 и й2 и 8,3, а при М2 = 16 имеем Б2 = 12 и й2 и 10,6.
9,1, а при M2 = 16 имеем
Если 52 = 52, то т2 = М2/7, й2 = Б2/7 + 4,4 и п2 = 7N2/4. При М2 = 8 имеем Б2 = 8 и й2 и 5,5, а при М2 = 16 имеем Б2 = 12 и й2 и 6,1.
Аналогично расширим 2-мерный тор «Ангары». Расширенная 1-отказустойчивая сеть с «хабами» состоит из семи 2-мерных торов, каждый из которых имеет т3 24-портовых маршрутизаторов в каждом измерении. Расширенная 1-отказустойчивая сеть имеет диаметр в й3 = т3 + 6 скачков, объединяет п3 = 7(16 т3 )/4 абонентов и имеет сложность 2
83 = 7 т3.
Если т3 = М3, то й3 = Б3 + 1, п3 = 7N3/4 и 53 = 753.
Если п3 = N3, то т3 и 7(4/7) М3 = 0,75М3, й3 = 0,75Б3 + 2,25 и 53 = 3 53. При М3 = 8 имеем Б3 = 13 и й3 и 12, а при М3 = 16 имеем Б3 = 21 и
й3 и 18.
Если 53 = 53, то т3 = М3/л/7 и М3/2,6, й3 = = Б3/2,6 + 4,1 и п3 = 7(8т32)/4 = N3/4. При М2 = 8 имеем Б2 = 13 и й2 Б2 = 21 и й2 и 12,2.
4. СИСТЕМНЫЕ СЕТИ СО СЛОЖНЫМ РАСШИРЕННЫМ МАРШРУТИЗАТОРОМ
Составим 18-портовый м аршрутизатор из сцепки трех 8-портовых маршрутизаторов. Он имеет внутренний диаметр в 3 скачка и проходную задержку в 1 скачок при трех каналах для соединения таких маршрутизаторов.
Расширим этот маршрутизатор в однокорпус-ной сложный 42-портовый маршрутизатор с внутренними «хабами». Он содержит 7 сцепок 8-пор-товых маршрутизаторов и 42 «хаба» 1x3. Он имеет в 5—6 раз большие сложность и энергопотребление, чем 24-портовый маршрутизатор, но и позволяет строить сети с более высокими характеристиками по масштабированию и быстродействию.
В табл. 11 приводятся характеристики сетей из 42-портовых маршрутизаторов с торовой топологией.
Таблица 11
Характеристики гипотетической торовой сети в формате R/D (число узлов/диаметр)
Таблица 12
Характеристики гипотетической гиперкубовой сети в формате R/D
Число маршрутизаторов в измерении 4 8 12 16
1-мерный тор 144/5 288/7 288/9 576/11
2-мерный тор 576/8 1920/12 4320/16 7680/20
3-мерный тор 1536/11 12048/14 41472/17 98304/23
Число маршрутизаторов р в каждом измерении 4 8
2-мерный гиперкуб 3-мерный гиперкуб 4-мерный гиперкуб 576/6 2112/9 7680/12 1792/6 10752/9 57344/12
При применении 42-портового маршрутизатора для построения р-ичного гиперкуба его внутренний диаметр и проходная задержка составляет 3 скачка. В табл. 12 приведены характеристики таких гиперкубов.
Если же расширять 24-портовый маршрутизатор, используя «хабы» 1x4, то расширенный сложный маршрутизатор будет содержать те же 42 порта, но обретет канальную отказоустойчивость. На его основе можно строить 1-отказоус-тойчивые р-ичные гиперкубы с числом процессоров из табл. 11, но с диаметром в 4/3 раза большим.
ЗАКЛЮЧЕНИЕ
Предложен способ расширения возможностей сети «Ангара» путем совместного применения собственных 24-портовых маршрутизаторов и рыночных «хабов» 1x3 и 1x4. В различных вариантах их применения имеется возможность увеличения масштабируемости сети (повышения числа процессоров в несколько раз), быстродействия сети (сокращения диаметра примерно в два раза) и ее канальной отказоустойчивости. Кроме того, появляется возможность создания сложных расширенных сложных м аршрутизаторов с еще большим числом портов (36, 42, 56, 78) в одном корпусе, что, в свою очередь, позволяет создавать системные сети в виде многомерных торов и обобщенных гиперкубов с еще более высокими характеристиками. При этом можно строить 1-отказоустойчивые обобщенные гиперкубы из 1-отказоустойчивых расширенных сложных м аршрутизаторов с 42 портами на базе «хабов» 1x4.
ЛИТЕРАТУРА
1. Alverson, R, Roweth, D. and Kaplan, L. The Gemini System Interconnect // 18th IEEE Symposium on High Performance Interconnects. — 2009. — P. 3—87.
2. Alverson, R., Froese, E, Kaplan, L. and Roweth, D. Cray XC® Series Network // URL: https://www.cray.com/sites/default/ files/resources/CrayXCNetwork.pdf.
3. Михеев В.А., Симонов А. С., Слуцкин А.И. и др. Реализация высокоскоростной сети для суперкомпьютерных систем: проблемы, результаты, развитие // URL: http://2013.nscf.ru/
TesisAll/Section%201/12_2761_SiNonovAS_S1.pdf. [Mikhe-ev, V.A., Simonov, A.S., Slutskin, A.I., et al. Realizatsiya vys-okoskorostnoi seti dlya superkomp'yuternykh sistem: problemy, rezul'taty, razvitie. (In Russian)]
4. Подлазов В. С. Возможности кольцевых каналов в масштабируемых многопроцессорных вычислительных системах с общей разделяемой памятью // Тр. Института проблем управления РАН. - 1999. - Т. VI. - М.: ИПУ РАН. -C. 91—99. [Podlazov, V.S. Vozmozhnosti kol'tsevykh kanalov v masshtabiruemykh mnogoprotsessornykh vychislitel'nykh siste-makh s obshchei razdelyaemoi pamyat'yu // Trudy instituta problem upravleniya RAN. — 1999. — Vol. VI. — M.: IPU RAN. — P. 91—99. (In Russian)]
5. Каравай М.Ф., Подлазов В. С. Системная сеть с малым диаметром из малопортовых маршрутизаторов // Управление большими системами. — 2015. — Вып. 56. — М.: ИПУ РАН. — С. 201—210. [Karavay, M.F., Podlazov, V.S. Small-Diameter System Area Network Composed of Small-Port Routers // Automation and Remote Control. — 2017. — Vol. 78, no. 9. — P. 1674—1679.]
6. Симонов А.С., Макагон Д.В., Жабин И.А. и др. Первое поколение высокоскоростной коммуникационной сети «Ангара» // Наукоемкие технологии. — 2014. — Т. 15, № 1. — С. 21—28. [Simonov, A.S., Makagon, D.V., Zhabin, I.A., et al. Pervoe pokolenie vysokoskorostnoi kommunikatsionnoi seti «Angara» // Naukoemkie tekhnologii. — 2014. — Vol. 15, no. 1. — P. 21—28. (In Russian)]
7. Stegailov, V., Agarkov, A., Biryukov, S., et al. Early Performance Evaluation of the Hybrid Cluster with Torus Interconnect Aimed at Molecular Dynamics Simulations // International Conference on Parallel Processing and Applied Mathematics. — Springer — Cham. — 2017. — P. 327—336.
8. Агарков А.А., Исмагилов Т.Ф., Макагон Д.В. и др. Предварительные результаты оценочного тестирования отечественной высокоскоростной коммуникационной сети «Ангара» // Параллельные вычислительные технологии (ПаВТ'2016): тр. межунар. науч. конф., Архангельск, 2016. — Челябинск: Изд. центр ЮУрГУ, 2016. — C. 42—53. [Agarkov, A.A. Ismagilov, T.F., Makagon, D.V., et al. Predvari-
tel'nye rezul'taty otsenochnogo testirovaniya otechestvennoi vysokoskorostnoi kommunikatsionnoi seti «Angara» // Paral-lel'nye vychislitel'nye tekhnologii (PAVT'2016): tr. mezhdunar. nauch. konf., Arkhangel'sk, 2016. — Chelyabinsk: Izd. tsentr YuUrGU, 2016. — S. 42—53. (In Russian)]
9. Каравай М.Ф., Подлазов В. С. Метод инвариантного расширения системных сетей мнгопроцессорных вычислительных систем. Идеальная системная сеть // Автоматика и телемеханика. — 2010. — № 12. — С. 166—176. [Karavay, M.F., Podlazov, V.C. An invariant extension method for system area networks of multicore computational systems. An ideal system network // Automation and Remote Control. — 2010. — Vol. 71, no. 12. — P. 2644—2654.]
10. Холл М. Комбинаторика. — М.: Мир, 1970. — 424 с. [Hall, M. Combinatorial Theory. — Waltham, Mass: Blaisdell Publishing Company, 1967. — 320 р.]
11. Каравай М.Ф., Пархоменко П.П., Подлазов В.С. Комбинаторные методы построения двудольных однородных минимальных квазиполных графов (симметричных блок-схем) // Автоматика и телемеханика. — 2009. — № 2. — С. 153—170. [Karavay, M.F., Parkhomenko, P.P., Podlazov, V.C. Combinatorial methods for constructing bipartite uniform minimal quasicomplete graphs (symmetrical block designs) // Automation and Remote Control. — 2009. — Vol. 70, no. 2. — P. 312—327.]
Статья представлена к публикации членом редколлегии
В.М. Вишневским.
Поступила в редакцию 4.02.2019, после доработки 13.05.2019.
Принята к публикации 2.12.2019.
Подлазов Виктор Сергеевич — д-р техн. наук,
Н podlazov@ipu.ru,
Каравай Михаил Федорович — д-р техн. наук,
Н mkaravay@ipu.ru,
Институт проблем управления им. В.А. Трапезникова РАН,
г. Москва.
EXPANDING THE CAPABILITIES OF THE ANGARA SYSTEM AREA NETWORK
V.S. Podlazov, M.F. Karavay
V.A. Trapeznikov Institute of Control Sciences of Russian Academy of Sciences, Moscow, Russia
H podlazov@ipu.ru
Abstract: A method for expanding the capabilities of the Angara system area network through the sharing of its own 24-port routers and market hubs 1x3 and 1x4 is considered. The method is based on the use of networks with the topology of quasi-complete graphs constructed in an extended elemental basis consisting of switches (routers) and hubs of duplex channels. These networks are the basis of the method of invariant expansion of arbitrary networks, which preserves transmission delays and increases the number of subscribers. Using this method, a distributed extended router is constructed from Angara network routers, and networks based on it are constructed with the structure of 1, 2, 3, 4-dimensional tori, either containing a significantly larger number of subscribers with the same network diameter, or having a smaller diameter with the same number of subscribers compared to the Angara network. In fact, the method under consideration made it possible to increase the number of processors, reduce the diameter and increase the channel fault tolerance of the network.
Keywords: system networks of supercomputers, Angara network, networks with topology of quasi-complete graphs, invariant expansion of networks, number of network subscribers and network diameter, scaling and performance.
