CC BY
84
УДК 004.724.2+004.272.43 ББК 3.9.7.3.02
РАСШИРЕННЫЙ ОБОБЩЕННЫЙ ГИПЕРКУБ КАК ОТКАЗОУСТОЙЧИВАЯ СИСТЕМНАЯ СЕТЬ ДЛЯ МНОГОПРОЦЕССОРНЫХ СИСТЕМ
1 2 Каравай М. Ф. , Подлазов В. С.
(ФГБУН Институт проблем управления
им. В.А. Трапезникова РАН, Москва)
Рассматривается новая структура системной сети для высокопроизводительных многопроцессорных вычислительных систем. Рассматривается системная сеть в виде расширенного обобщенного гиперкуба, в строках которого связи с топологией полного графа заменены на связи с топологией квазиполного графа, имеющего много меньше ребер.
Ключевые слова: высокопроизводительные многопроцессорные вычислительные системы, системные сети, прямые каналы, неблокируемые самомаршрутизируемые сети, идеальные сети, распределенные полные коммутаторы, обобщенные гиперкубы, сервер PERCS.
1. Введение
Одно из направлений построения высокопроизводительных многопроцессорных вычислительных систем (суперкомпьютеров) предполагает использование многопроцессорных и многоядерных (тяжелых) процессорных узлов [8, 9]. Такие процессорные узлы используются в тесной связке с многопортовыми связными узлами. Множество портов в них требу-
1 Михаил Федорович Каравай, доктор технических наук, доцент (Москва, ул. Профсоюзная, д.65, тел. (495) 334-90-00, mkaravay@ipu. ги).
2 Виктор Сергеевич Подлазов, доктор технических наук, доцент (Москва, ул. Профсоюзная, д.65, тел. (495) 334-78-31, [email protected]).
ется для возможно большего распараллеливания системной сети, объединяющей связные узлы. Здесь возникает задача эффективного использования заданного множества портов или даже задания этого множества. В работе [1] предложено одно решение этой задачи на основе использования системных сетей с прямыми каналами [1, 7]. Оно основывается на маршрутно-инвариантном расширении таких простейших сетей как кольца и полные коммутаторы и осуществляется посредством замены топологии связей полного графа на квазиполный (ор)граф [2, 3]. Этот подход привел к построению распределенных полных коммутаторов и некоммутируемых мультиколец, пропускная способность которых пропорциональна квадрату числа портов связных узлов сети.
В данной работе вышеупомянутый подход применяется для построения системной сети со структурой расширенного обобщенного гиперкуба. В обычном обобщенном гиперкубе узлы в каждой строке (столбце) любого измерения имеют связи с топологией полного графа. В расширенном обобщенном гиперкубе связи каждого измерения имеют топологию квазиполного (ор)графа. Полный и квазиполный графы имеют одинаковые маршрутные свойства на перестановочном трафике, но квазиполный граф содержит много меньше ребер. Это свойство позволяет многократно увеличивать пропускную способность и отказоустойчивость системной сети при сохранении числа узлов или увеличивать число узлов и отказоустойчивость при сохранении числа каналов в сети. При этом фактически сохраняется диаметр сети и, как следствие, задержка передачи данных по сети.
2. Обобщенный гиперкуб
Обобщенный гиперкуб [10, 13] является «кубическим» аналогом многокаскадной сети Клоза, так же как гиперкуб является «кубическим» аналогом многокаскадной сети Бенеша. Как сеть Бенеша является двоичной сетью Клоза, так и гиперкуб является двоичным обобщенным гиперкубом.
Обобщенный гиперкуб обычно задается как ^-мерный 5-ичный гиперкуб, который имеет V = sd узлов степени - 1)
каждый, размещенных в строках (столбцах) по 5 узлов, задающих «ребра» а-мерного простого куба. «Ребра» здесь понимаются не в графовом, а в геометрическом смысле. Наоборот, в графовом смысле «ребро» есть полный граф, т.е. все 5 узлов одного геометрического «ребра» связаны 5(5 - 1) графовыми ребрами.
Будем обозначать обобщенный а-мерный 5-ичный гиперкуб как ОГК(К, а, 5). На рис. 1 приведен пример ОГК(16, 2, 4).
Диаметр ОГК(Р, ё, s) равен D = ё и величина бисекции В = V.
Для реализации системной сети с топологией ОГК(^ ё, s) каждый узел должен иметь схемную реализацию, представленную в самом общем виде на рис. 2. Узел Ц содержит абонента (процессорный узел) А, «коммутатор измерений» g х g ^ ё + л) и ё коммутаторов каналов 1 х т (т = s - 1) для реализации ребер полного графа в каждой строке (каждом столбце). Здесь л задает число каналов между процессорным и связным узлом. Для простоты в схеме на рис. 2 не показаны входные-выходные буферные очереди между коммутатором измерений и коммутаторами каналов, которые несущественны при описании
топологии системной сети. В суперкомпьютерах [8, 9] коммутаторы измерений и каналов входят в состав связного узла.
Рис. 2. Схемная реализация узла в ОГК(У, 3, т + 1)
3. Идеальная сеть и распределенный полный коммутатор
Рассмотрим однородный двудольный граф, каждую долю которого составляют N узлов степени т. Значение т выбирается минимальным, при котором любые два узла в одной доле связаны а путями длины 2 через разные узлы в другой доле. Такой граф мы называем минимальным квазиполным графом [2]. Если он существует, то его параметры связаны соотношением N = т (т - 1)/а + 1.
В данной статье предполагается, что узлами одной доли являются полные коммутаторы т х т, а другой доли - т-портовые абоненты (связные узлы). Каждый путь между абонентами проходит через один коммутатор, и разные пути проходят через разные коммутаторы. Пример такого графа приведен на рис. 3 для т = 4, N = 7 и а = 2. На рис. 3 толстыми линями выделены пути между абонентами, выделенными одинаковой заливкой -их два для каждой пары абонентов.
Здесь возникает вопрос о существовании минимальных квазиполных графов и об их параметрах. Оказывается, что он уже давно решен в комбинаторике. Такие графы описываются на
языке неполных уравновешенных блок-схем, в частности, симметричных блок-схем [1-4].
4x4 4x4 4x4 4x4 4x4 4x4 4x4
Рис. 3. Минимальный квазиполный граф с т = 4, N = 7 и а = 2.
Простейшая сеть ПС(7, 4, 2)
Симметричная блок-схема В^, т, а) состоит из элементов, составляющих одну долю графа, и блоков, составляющих другую долю графа. Число элементов и блоков одинаково и равно N. Параметр т задает число блоков, в которые входит каждый элемент, и число элементов, входящих в каждый блок. Вхождение некоторого элемента в некоторый блок задает ребро на двудольном графе между соответствующими вершинами разных долей. Параметр а < т задает число блоков, в которые входит каждая пара элементов. Указанные параметры связаны соотношением N = т (т - 1)/а + 1.
Любая блок-схема описывается таблицей, в которой строчки задают блоки, а ячейки - вхождения элементов. Блоки и элементы задаются своими номерами. Теперь проинтерпретируем блок как коммутатор т х т с дуплексными портами, элемент -как абонент с т дуплексными портами, а вхождение элемента в блок - как подсоединение абонента к коммутатору дуплексным каналом через один из своих портов. Тогда а интерпретируется как число коммутаторов, через которые любые два абонента соединены разными каналами. При этом все абоненты связаны между собой прямыми каналами (через коммутаторы), как в полном графе. В отличие от полного графа рассматриваемый граф может иметь а независимых путей между любой парой вершин, не являясь при этом мультиграфом, поскольку эти пути
не параллельны. Вся блок-схема интерпретируется как минимальный квазиполный граф, одна доля которого состоит из абонентов, а другая - из коммутаторов. Он описывает «простейшую» [2, 7] системную сеть с а-кратным резервированием каналов. Задающая блок-схему таблица описывает схему межсоединений абонентов и коммутаторов. На рис. 3 приводится пример ПС(7, 4, 2), в таблице 1 - описание В(7, 4, 2) и ПС(7, 4, 2).
Таблица 1. Схема межсоединений в ПС(7, 4, 2)
Блоки 4 х 4 В(7, 4, 2) ПС(7, 4, 2)
0 0 1 2 3
1 0 1 4 6
2 0 2 4 5
3 0 3 5 6
4 1 2 5 6
5 1 3 4 5
6 2 3 4 6
ПС(^ т, а) является «идеальной» сетью, которая имеет возможность использования прямых каналов (без промежуточной буферизации пакетов) для бесконфликтной реализации произвольной перестановки пакетов данных между узлами [2, 3].
Введение в ПС(^ т, а) коммутаторов 1 х т дуплексных каналов (разветвителей/объединителей каналов - РОКт) превращает ее в распределенный полный коммутатор РК(^ т, а), на который у авторов имеется патент [4]. На рис. 4 приводится схема РК(7, 4, 2), состоящая из коммутаторов 4 х 4 и РОК4.
По построению распределенный полный коммутатор РК(^ т, а) является неблокируемым самомаршрутизируемым коммутатором N х N как и исходный коммутатор т х т. Это означает, что произвольная перестановка пакетов данных между абонентами может осуществляться в нем бесконфликтно по прямым (без промежуточной буферизации пакетов) каналам. Каждый абонент прокладывает свой канал самостоятельно - независимо от других абонентов. Обычно предполагается, что прокладка канала осуществляется динамически посредством червячной маршрутизации. Однако возможна и
статическая маршрутизация по заранее составленным маршрутным таблицам, которые необходимо хранить в каждом коммутаторе т х т [7].
Рис. 4. Схема РК(7, 4, 2) из коммутаторов 4 х 4 и РОК4
С формальной точки зрения диаметр ПС(^ т, а) и РК(^ т, а) равен 2 (D = 2). Однако диаметр можно выражать и в числе «скачков» D (передач по прямым каналам без промежуточной буферизации пакетов). Такой диаметр D = 1.
В ПС(^ т, 1) и РК(^ т, 1) величина N является нечетным числом. Поэтому величину бисекции В определим как минимальное число дуплексных каналов «точка-точка» между множествами из [N/21 и абонентов и тогда В = N + 1. Если же определять величину бисекции В в числе прямых каналов, то и в этом случае В = N + 1, так как прямой канал является симплексным каналом и два ребра, составляющие путь между абонентами, содержат два встречных прямых канала.
ПС(^ т, 1) имеет топологию квазиполного графа и содержит w = N т дуплексных каналов «точка-точка» между коммутаторами и абонентами. Сеть с топологией полного графа, содержащая N узлов, имеет W = N N - 1) дуплексных каналов «точка-точка» между абонентами. Легко проверить, что
W / w >л1 N -1 -1, т.е. имеет место сокращение числа каналов в ~ ^[N число раз. РК(^ т, 1) содержит N (т + 1) каналов за счет использования РОКт.
Квазиполный граф существует не при любых значениях параметров т ист. Эта проблема может быть разрешена двояко. При ст= 1 можно использовать квазиполный орграф, который существует при любых значениях т и имеет N = т2 [1, 7]. Дополнительным ограничением для его использования в качестве ПС(^ т, 1) служит невозможность использования дуплексных портов. При ст> 1 можно использовать 1-расширенные квазиполные графы, которые удалось построить для всех экспериментально проверенных значений т и ст [5, 7]. В них число узлов N каждой доли задается выражением N = N - 8, где 8 < т. В 1-расширенном квазиполном графе малая часть узлов одной доли связаны ст+ 1 путями длины 2, а остальные - ст путями длины 2. В матрице смежности такого графа номера узлов, связанных ст + 1 путями, размещаются на 28 диагоналях. Системная сеть с топологией 1-расширеннго квазиполного графа обозначается как ПС^, т, ст | ст+ 1). Дополнительно в ней за счет выбора значения 8 можно задавать четность N.
Перечисленные выше свойства показывают, что на перестановочном трафике системная сеть с топологией квазиполного графа по пропускной способности и задержкам практически не уступает сети с топологий полного графа, имея много меньшую канальную сложность.
4. Сетевые характеристики простейшей сети ПС(N т, а)
По другому может обстоять дело при трафике общесетевого вида, когда несколько источников могут параллельно обращаться к одному приемнику. В сети с топологией полного графа каждый приемник может принять N - 1 параллельных пакетов, а в сети с топологией квазиполного графа с ст = 1 - только т, т.е. в меньше, что приведет к уменьшению пропускной способности и к увеличению задержек передачи. Это уменьшение объяснимо, поскольку в случае полного графа нет конфликта доступа к абоненту при любом распределении адресов назначения. Для квазиполного графа конфликты могут возникать в локальном коммутаторе при одновременном обращении через него
разных источников к одному и тому же приёмнику. Возникает вопрос - во сколько раз падает пропускная способность и растет задержка передачи? Эти характеристики можно оценить имитационным моделированием на простой модели с трафиком, состоящим из пакетов одинаковой длины со случайными адресами приемников.
При моделировании каждый источник генерирует пакет с адресом приемника, который (адрес) распределен по степенному закону, т.е. с вероятностью рі выбора і-го приемника, задаваемой как рі = g(a, И) (і/И)а-1 (1 < і < И), где g(a, И) - нормировочный множитель, который определяется соотношением
N
g(а,Nрі = 1. С увеличением а все большая часть источников
і=1
адресуются к И-му приемнику. Это распределение включает равномерное распределение - а = 1, g(1, И) = 1, линейное распределение - а = 2, g(2, И) = 2/(И + 1); параболическое распределение - а = 3, g(3, И) = 6/[(И + 1)(2И + 1)]; и т.д.
В модели случайный адрес при заданном а находится как тах(иь ..., и, ..., иа), где иі (1 < і < а) - случайное целое с равномерным распределением на [0, И - 1].
Каждый источник может иметь пакет не более чем к одному приемнику, т.е. моделируется случай а = 1 с одним путем между любой парой абонентов. В модели все источники действуют синхронно по тактам, передавая в каждом такте по одному пакету. Если несколько источников адресуются к одному приемнику через один и тот же коммутатор, то пакет передает только один из них, а остальные задерживают передачу до следующего такта. После каждого такта источники, которые не имеют пакетов, заново их генерируют с заданным распределением адресов приемников.
Исследовались два базовых режима: с постоянным распределением адресов (с постоянным а - режим ПР) по источникам, со случайным выбором закона распределения одинаковым для всех источников на каждом такте(с равномерным распределением а на [1, И] - режим СР) и со случайным выбором закона распределения для каждого источника на каждом такте (с равномерным распределением а на [1, И] - режим СР ). В каждом ре-
жиме еще предусматривается перемешивание адресов приемников в виде случайного смещение максимума распределения на каждом Д-м такте (случайное смещение - СМД). Он осуществляется как сдвиг назначенных адресов на одинаковый случайный шаг с равномерным распределением на [0, N-1]. При Д = 0 изменений адресов приемников фактически не производится, при Д = 1 оно осуществляется на каждом такте. По мнению авторов, режим СР*СМ1 соответствует условиям плохого (случайного) пространственно-временного размещения данных по узлам сети. Подобное размещение данных по оперативной памяти вычислительной системы с кэш-памятью приводит к сильной деградации её производительности.
В сети с топологией полного графа за каждый такт передается N - 1 пакетов, а в сети с топологией квазиполного графа -случайное число пакетов г) (1 < ?]< К). Измерялось среднее значение г)* за большое число тактов в установившемся режиме. Результаты моделирования в режиме ПР для малых т в представлены в графиках на рис. 5 и рис. 6. Ось абсцисс задает значение показателя степени а, а ось ординат - отношение р = г) N. Рис. 5 задает графики режима ПРСМ0, а рис. 6 - режима ПРСМ1. Разрывы на графиках возникли потому, что для представленных т нет значений а с выбранной дискретностью представления. Выбор малых т объясняется тем, что для них легко построить простейшие и 1-расширенные простейшие сети ПС(^ т, 1) и ПС^*, т, с | с + 1).
Если обозначить пропускную способность сети с топологией полного графа как W, а сети с топологией квазиполного как w, то рис. 5 и рис. 6 показывают, что в режиме ПРСМ0 при малых т w/W = р > 0,2, а в режиме ПРСМ1 w / W = р > 0,69.
В [5, 11] и в разделе 7 рассматриваются сети с т = 7 и с т = 38. На рис. 7 представлены результаты моделирования в режиме ПРСМД для т = 38. Они показывают, что варианты с Д = 0 и с Д >> 1 (две нижние кривые) практически совпадают.
Для задержек передачи картина выглядит не столь оптимистично В каждом такте измеряется задержка передачи 8 (в тактах) для каждого источника. Случайная величина 8 усредняется в каждом такте по источникам, осуществившим передачу пакета
в данном такте, а затем - по всем тактам. В результате формируется средняя задержка передачи т.
Сначала рассмотрим режим с постоянным распределением адресов приемников для всех источников - ПРСМД.
На рис. 8 и рис. 9 представлены графики зависимости т(а) задержки передачи от степени распределения в случае малых т. Эти графики соответствуют графикам зависимости р(а) на рис. 5 и рис. 6.
Рис. 5. Отношение w/Wпропускных способностей сетей с топологией квазиполного и полного графов в режиме ПРСМ0
Рис. 6. Отношение w/W пропускных способностей сетей с топологией квазиполного и полного графов в режиме ПРСМ1
Рис. 7. Отношение w/Wпропускных способностей сетей с топологией квазиполного и полного графов в режиме ПРСМА для т = 38
Рис. 8. Задержки сетей с топологией квазиполного графа в режиме ПРСП0
Здесь надо иметь в виду, что т(а) = 1 для сетей с топологией полного графа. Отметим три вывода из представленных графиков. Задержки в режиме ПРСП1 существенно меньше, чем в режиме ПРСП0. Задержки в режиме ПРСП1 растут с ростом а, при том что пропускная способность остается достаточно высокой при всех значениях а: р(а) > 0,69 (рис. 6). В режиме ПРСП0 т(а) < 1,6 при а < 8, а в режиме ПРСП1 - при а < 16. Эта область может считаться рабочей, в которой задержки остаются еще приемлемыми.
Рис. 9. Задержки сетей с топологией квазиполного графа в режиме ПРСП1
На рис. 10 представлены графики зависимости т(а) для режима ПРСПД при т = 38. Здесь рабочая область расширяется до
а < 32.
Рис. 10. Задержки сетей с топологией квазиполного графа в режиме ПРСПЛ для m = 38
На рис. 11 и рис. 12 представлены результаты моделирования в режиме СРСПА (случайное распределение a одинаковое для всех источников) для разных m и разных максимальных значений степени a (max a). Режимы с А = 0 представляются пунктирными графиками.
На рис. 11 в режиме СРСМ1 для всех проверенных m (б < m < 38) режиме СРСМ1 при max a = N имеет место соотно-
шение р > 0,7. В то же время, в режиме СРСМ0 при max a = N имеет место вырождение пропускной способности, как и в режиме ПРСМ0. На рис. 11 приводятся также графики при max a = N/8 и max a = N/16, для которых р > 0,8 и р > 0,9 соответственно.
На рис. 12 приводятся графики i(a) для тех же значений max а. Видно, что для max a = N/16 при всех m i(a) < 1,5, т.е. находится в рабочей области.
P CРСМД
- -N: Д=0 N/8: Д=0 N/8: Д=1 N/16: Д=0
* * ' ' 1
* * - . " "■*■* *
%
* “ “ «Ц в
6 8 10 12 20 24 32 38
Рис 11. Пропускная способность в режиме СРСМА
На рис. 13 представлены результаты моделирования в режиме СР*СМД (случайное распределение а для каждого источника). Здесь значения р(а) для режимов с Д = 1 и Д = 0 различаются мало: р> 0,85 и р> 0,79 соответственно. Для зависимости
т(а) различия больше, однако для Д = 1 т< 1,5, т.е. находится в рабочей области. Отметим, что при т < 24 имеет место еще более узкий диапазон т< 1,3.
Рис. 13. Характеристики сети с топологией квазиполного графа в режиме СР*СМА
Характеристики сети в режиме СР*СМ1 достаточно близки к характеристикам сети при равномерном распределении (а = 1) адресов приемников. Они одинаковы во всех режимах и представлены на рис. 14. Из него следует, что пропускные способности и задержки передачи сетей с топологией полного и квазиполного графов практически совпадают.
Равномерное распределение
* > Р
а
Рис. 14. Характеристики сети с топологией квазиполного графа при а = 1 для разных т
5. Расширенный обобщенный гиперкуб
Как упоминалось в начале статьи (рис. 1), обобщенный гиперкуб имеет по строкам и столбцам топологию связей полного графа. Расширение обобщенного гиперкуба можно осуществить за счет замены топологии связей строки (столбца) каждого измерения - с топологии полного графа на топологию квазиполного графа.
Пусть имеется ОГК(К, d, 5). Добавим к каждому узлу d коммутаторов т х т (т = 5 - 1). Для объединения узлов в каждой строке (столбце) будем использовать ПС(^, т, о), построенную за счет использования одного коммутатора т х т при каждом узле. ПС(^, т, о) позволяет объединить в строке N узлов, где N = т (т - 1)/о + 1. Увеличим число узлов в строке каждого измерения до этой величины и объединим их посредством ПС(^ т, о). Тем самым удаётся «расширить» ОГК с 5-ичности до Личности.
В результате получим расширенный обобщенный гиперкуб с R = N узлами, в котором узлы любой строки (столбца) каждого измерения связаны о прямыми каналами. Такой гиперкуб будем назвать расширенным обобщенным d-мерным Личным гиперкубом и обозначать РОГК^, d, N т, о). На рис. 15 для примера показан РОГК(49, 2, 7, 3, 1).
В описанном построении ПС(Л^, т, о) может быть заменена на 1-расширенную ПС(^*, т, о| о+ 1) (см. раздел 3), и тогда расширенный гиперкуб обозначается как
РОГВД а, Ы*, т, о | о + 1).
Напомним, что 1-расширенная простейшая сеть ПС(Ы, т, о| о + 1) порождается при уменьшении числа узлов сети ПС(Ы, т, с) до значения N = N - 6, где 6 < т. При этом появляются узлы одной доли, связанные о + 1 путями длины 2, а остальные - о путями длины 2. Сеть ПС^ , т, о| о+ 1) удается построить для любых т и о.
3x3 3x3 ■■■ (иб \ 3x3
3X3 ПС(7,3,1) 3X3 3X3
3x3 3x3 ■■■ (и1^Ь 3x3
3X3 13X31 ПС(7,3,1) 3X3 3X3
1 I I Г
ПС(7,3,1) - ПС(7,3,1)
і г
ПС(7,3,1)
ПС(7,3,1)
3x3
3x3
ПС(7,3,1)
3x3 3x3 ■■■ Ґи4і\ 3x3
3X3 3X3 ПС(7,3,1) 3X31 3x3
3x3 (^44^ 3x3 ■■■ Ґи48\ 3x3 {^49
3X3
Рис. 15.Структура связей РОГК(49, 2, 7, 3, 1)
Эти дополнительные пути потребуются в следующем разделе 4 для формирования отказоустойчивой конфигурации РОГК по связным узлам. Далее всюду где упоминается РОГК^, d, N*, т, о| о + 1) имеется в виду он или РОГК^, d, N, т, о), если последний существует для заданных т и о.
Сравним некоторые характеристики трехмерных обобщенных гиперкубов ОГК(К, 3, 5) и РОГК(R, 3, N*, т, о| о+ 1). Сначала оценим фактор R/V увеличения числа узлов при одинаковых параметрах узла, который приводится в таблице 2 при малых т и о.
Таблица 2 показывает, что за счёт увеличения «-ичности» РОГК^, 3, N*, т, о| о + 1) по сравнению с ОГК(^ 3, 5) может иметь во много раз большее число узлов и/или в о раз большую пропускную способность каждого измерения.
Технические и программные средства управления Таблица 2. Фактор R / V при т = s - 1
и\ т 4 6 8 10 12
1 17,6 96 254 566 1071
2 2,7 9,8 27,0 56 114
3 1,0 3,9 9,4 18,3 36,2
4 - 1,5 4,6 8,0 16,4
В таблице 3 показана степень узла s по каждому измерению в ОГК(Р, d, s) при V = R из РОГК^, d Ы*\ т, и| и + 1). Таблица 3 показывает, что РОГК^, d, N, т, и | и + 1) по сравнению с ОГК(^ d, s) может иметь во много раз меньшее число портов в каждом узле и/или в несколько раз большую пропускную способность каждого измерения.
Таблица 3. Значение s при R = V
s =
ст \ т 4 6 8 10 12
1 13 32 57 91 133
2 7 15 27 42 63
3 5 11 19 29 43
4 - 8 15 22 33
V)
6. Отказоустойчивость расширенных обобщенных гиперкубов
Полная однородность каждой строки (столбца) в РОГК^, d, N, т, и| и + 1) по узлам обеспечивает его ^-отказоустойчивость по процессорным узлам [6] при любом 1 < к< |_Ж2_|. Наличие в каждой строке и независимых путей между любой парой процессорных узлов абонентов обеспечивает (и- 1)-отказоустойчивость по каналам и коммутаторам т х т каждой ПС^, т, и| и + 1) [6, 7]. Однако 1-скачковая связь любых строк (столбцов) разных измерений только через один связной узел не обеспечивает отказоустойчивости РОГК(R, d, N*, т, и | и + 1) по связным узлам.
Для обеспечения 1-отказоустойчивости по узлам можно использовать большую избыточность РОГК^, d, N, т, и| и+ 1)
по числу узлов следующим образом. Разобьем узлы каждой строки на пары четный-нечетный. Каждая такая пара должна входит в состав строки каждого измерения. Это приведет к уменьшению вдвое числа строк всех измерений кроме первого, но обеспечит два варианта перехода между строками разных измерений - через четный и нечетный узлы. Такой 1-отказоустойчивый расширенный обобщенный гиперкуб будем означать POrK(R*, d, N*, m, a | a + 1, 1). Он содержит (N*/2)d пар узлов, т.е. R* = 2(N*/2)d = N* (N/2)d-; узлов. В принятых ранее обозначениях POrK(R, d, N, m, a| a+ 1) обозначается как POrK(R d, N* m a| a+ 1, 0).
На рис. 16 показан 2-мерный РОГК(18, 2, 6, З, 1, 1). Для построения ПС(6, З, 1) использован 1-расширенный гиперкуб, в котором пары абонентов (i, j) с номерами j = (i ± З) mod 6 связаны двумя путями, а остальные - одним путем. На рис. 17 этот гиперкуб расширен до трех измерений - РОГК(54, З, 6, З, 1, 1).
На этих рисунках толстыми линиями показаны наборы из З ребер. Если заменить их на наборы из 4 ребер и использовать ПС(6, 4, 2) для объединения узлов в строках, то эти же рисунки зададут РОГК(18, 2, 6, З, 2, 1) и
РОГК(54, З, 6, З, 2, 1) соответственно. В ПС(6, 4, 2) пары абонентов (i, j) с номерами j = (i ± 1) mod 6 связаны тремя путями, а остальные - двумя путями.
Аналогичным образом можно строить и ц-отказоустойчивые расширенные обобщенные гиперкубы POrK(R , d, N, m, и | и+ 1, ц). Для этого строки должны разбиваться на группы по (ц + 1) узлов, а гиперкуб будет содержать R* = N* (N/Ц + 1))d_1 узлов. В этом случае отказоустойчивость можно разменивать на пропускную способность между измерениями.
6. Системная сеть на основе расширенного обобщенного гиперкуба
В данном разделе рассматривается возможность расширения системной сети суперкомпьютера, разработанного IBM для проекта Blue Waters [9]. Теперь его принято именовать как сервер PERCS (Productive, Easy-to-use, Reliable Computer System) или система P775 [12]. Одна попытка такого расширения была предпринята авторами в [1]. Для возможностей последующего сравнения изложим кратко ее суть.
Системная сеть в [9] имеет топологию двухуровневого полного графа (рис. 18).
Supernode I Supernode
Рис. 18. Узлы, суперузлы и связи между ними
Каждый узел связи (node) имеет межузловые каналы трех видов: 7 высокоскоростных каналов K1 с пропускной способностью F1; 24 канала низкоскоростных К2 с пропускной способностью V2 = V1/5 и 16 среднескоростных каналов К3 с пропускной способностью V3 = 2V2. Каналы K выполнены медным кабелем, а каналы К2 и К3 - оптическим кабелем. На рис. 19 приведена структура связей этой системной сети.
32 узла связи образуют суперузел (supernode), в котором узлы связаны по схеме полного графа каналами K и K2. Среди них выделяются 4 группы по 8 узлов, связанных каналами К\. Остальные узлы связаны каналами K2. Суперузлы связаны каналами K3 также по схеме полного графа.
Каждый суперузел имеет 512 каналов K3. В максимальной конфигурации суперкомпьютера каждый такой канал используется для связи с другим суперузлом по схеме полного графа. В этом случае он содержит 513 суперузлов. Передача пакета между любыми двумя узлами занимает не более трёх смен каналов с промежуточной буферизацией пакетов (скачков).
В [1] был рассмотрен подход, основанный на замене топологии связей полного графа в узлах и суперузлах на топологию квазиполного графа. В нем оставались неизменными следующие параметры сети: число портов в узле связи и максимальное число скачков между любыми узлами сети.
Для модификация сети внутри суперузла (левая часть рис. 18) к каждому узлу добавлялся коммутатор 7 х 7 каналов K и узлы связывались сетью с топологией 1-расширенного квазиполного графа ПС(39, 7, 1|2). В результате образовывался су-
перузел из 39 узлов, связанных прямыми высокоскоростными каналами К1. Каналы К2 не использовались. Параметры полученной сети представлены в таблице 4. В ней фактор /1 оценен по результатам моделирования, представленным на рис. 13.
Таблица 4. Параметры системной сети суперузла
Параметры Новая сеть Исходная сеть
Коммутатор каналов К1 7 х 7 -
Число узлов 39 32
Фактор межузловой пропускной способности Л 3 < /і < 5 /1 = 1
Каналы К2 0 24
Фактор энергопотребления узла е1 1 и е1 < 2 е = 1
Для модификации сети между суперузлами (правая часть рис. 18) к каждому суперузлу добавлялось 16 коммутаторов 38 х 38 каналов К3 и суперузлы связывались 16 сетями ПС(1407, 38, 1). Параметры полученной сети представлены в таблице 5. В ней фактор Л оценен по результатам моделирования (рис. 8).
В результате предложенной модификации получена расширенная системная сеть с большим числом узлов, с большей пропускной способностью и с многократной отказоустойчивостью 3-скачковых путей. В ней остались неиспользованными 24 канала К2, которые оказалось невозможно использовать в описанной топологии связей.
Однако их можно использовать в топологии трехмерного расширенного обобщенного гиперкуба - точнее 3-мерного параллелепипеда, в каждом измерении которого узлы имеют разные степени узлов. В измерении X она равна 7, в измерении У -16 и в измерении Z - 24.
Пусть строки в измерении X составляют рассмотренные выше модифицированные суперузлы с коммутаторами 7 х 7 каналов К при каждом узле. Тогда строки в измерении У могут составлять «новые» суперузлы с коммутаторами каналов К2 при каждом узле, а строки в измерении Z могут составлять «новые» суперузлы с коммутаторами каналов К3 при каждом узле. Общая топология такой системной сети представлена на рис. 19.
Таблица 5. Параметры системной сети между суперузлами
Параметры Новая сеть Исходная сеть
Коммутаторы каналов К3 38 х 38 -
Число коммутаторов в суперузле 16 0
Число суперузлов 1407 513
Число узлов всей сети 54873 16416
Число путей между суперузлами 16 1
Отказоустойчивость 3-скачковых путей есть нет
Фактор пропускной способности между суперузлами /3 13 < fз < 15 fз = 1
Фактор энергопотребления суперузла е3 1 < е3 < 2 е3 = 1
В рассматриваемой топологии возможны различные варианты построения суперузлов каждого измерения. Первый вариант - это использование малых коммутаторов 8 х 8 в суперузлах измерений У и Z. Для построения суперузлов измерения У к каждому узлу необходимо добавить 2 таких коммутатора, а измерения Z - 3 таких коммутатора. В данном случае в суперузлах
каждого измерения удобно использовать топологию квазиполного орграфа [1 - 3].
Таблица 6. Параметры 1-отказоустойчивой по связным узлам
системной сети с топологией 3-мерного параллелепипеда
Параметры Измерение X: каналы К1 Измерение У: каналы К3 Измерение 1: каналы К2 Общее число узлов
Число и вид коммутаторов при узле 1 - 7 х 7 2 - 8 х 8 3 - 8 х 8 к* = = ЫХЫУЫ1 /4= = 50 176
Число путей в суперузле 1 2 3
Число узлов в суперузле £ II 4 00 ЫУ = 32 2 3 II £
В результате узлы в суперузлах измерения X связываются ПС(49, 7, 1), в суперузлах измерения У - двумя независимыми ПС(64, 8, 1) и в суперузлах измерения Z - тремя независимыми ПС(64, 8, 1). Это позволяет построить 1-отказоустойчивую по узлам системную сеть, параметры которой приведены в таблице 6.
В другом варианте можно иметь более высокую пропускную способность системной сети в суперузлах за счет использования топологии квазиполного графа с ст> 1. Для этого в узлах для создания суперузлов измерений У и Z потребуется использовать коммутаторы 16 х 16 и 24 х 24 соответственно. Конкретно: узлы суперузлов измерения X свяжем 1-расширенной ИС(20, 7, 2|3), узлы суперузлов измерения У свяжем 1-расширенной ПС(60, 16, 4|5) и узлы суперузлов измерения У свяжем 1-расширенной ПС(70, 24, 8|9). Количество каналов в суперузлах выбиралось из соображения приблизительного равенства суммарной пропускной способности между узлами суперузлов. В результате можно построить 1-отказоустойчивую по узлам и по каналам системную сеть, параметры которой приведены в таблице 7.
Таблица 7. Параметры 1-отказоустойчивой по связным узлам системной сети с топологией 3-мерного параллелепипеда с повышенной пропускной способностью__________________________
Параметры Измерение X: каналы К1 Измерение Y: каналы К3 Измерение Z: каналы К2 Общее число узлов
Число и вид коммутаторов при узле 1 - 7 х 7 1 - 16 х 16 1 - 24 х 24 R* = = NNN2: / = = 21 000
Число путей в суперузле 2 4 8
Число узлов в суперузле £ II 2 О ^ = 60 О II £
Если не повышать пропускной способности сети в суперузлах измерения X, то получим вариант системной сети, представленной в таблице 8. Причем этот вариант является ориентировочным, так как 1-расширенные квазиполные графы для ПС(80, 16, 3|4) и ПС(94, 24, 6|7) еще не построены. Здесь значение числа узлов в суперузлах после построения может измениться на несколько единиц.
Таблица 8. Параметры 1-отказоустойчивой по связным узлам системной сети с топологией 3-мерного параллелепипеда с повышенной пропускной способностью
Параметры Измерение X: каналы К1 Измерение Y: каналы К3 Измерение 2: каналы К2 Общее число узлов
Число и вид коммутаторов при узле 1 - 7 х 7 1 - 16 х 16 1 - 24 х 24 R* = = NNN2: /4 = = 73 320
Число путей в суперузле 1 3 6
Число узлов в суперузле ^ = 39 ^ = 80 С* II £
7. Заключение
В работе предложена новая топология системной сети в виде расширенного обобщенного гиперкуба. Эта топология разрабатывалась с ориентацией на суперкомпьютер фирмы IBM, разрабатывавшийся в рамках проекта Blue Waters [9]. Теперь этот суперкомпьютер именуют как сервер PERCS или система P775 [12]. Эта система первая пробила «стену памяти», т.е. показала выдающиеся характеристики в условиях плохой пространственно-временной локализации данных в памяти. В частности, на тестах «Graph 500» [11] она в сильно усеченном варианте имела лучшую удельную производительность. Эти характеристики достигнуты, в частности, за счет высокой параллельности и малой глубины системной сети. В данной работе указанные свойства системной сети сохранены, но повышены ее пропускная способность, масштабируемость и отказоустойчивость, за счет использования системной сети в виде расширенного обобщенного гиперкуба в форме 3-мерного параллелепипеда. В нем строки (столбцы) разных измерений имеют не только разные простейшие сети, объединяющие их узлы, но и разные скорости передачи по каналам этих сетей.
Литература
1. КАРАВАЙ М.Ф., ПОДЛAЗОВ ВС. Топологические резервы суперкомпьютерного интерконнекта // Управление большими системами. - 2012 - №40. - С. 395-423.
2. КАРАВАЙ М.Ф., ПОДЛАЗОВ В С. Метод инвариантного расширения системных сетей многопроцессорных вычислительных систем. Идеальная системная сеть // Автоматика и телемеханика. - 2010. - №10. - С. 1бб-17б.
3. КАРАВАЙ М.Ф., ПОДЛАЗОВ В С. Распределенный полный коммутатор как «идеальная» системная сеть для многопроцессорных систем // Управление большими системами. -2011 - №34. -С. 92-11б.
4. КАРАВАЙ М.Ф., ПОДЛАЗОВ В.С., СОКОЛОВ В.В. Способ построения неблокируемого самомаршрутизируемого рас-
ширенного коммутатора // Патент на изобретение №2435295 РФ от 0б.09.2009. Зарегистрирован 03.0S.2011.
5. КАРАВАЙ М.Ф., ПОДЛАЗОВ ВС. Расширенные блок-схемы для идеальных системных сетей // Проблемы управления. - 2012 - №4. -C. 45-51.
6. КАРАВАЙ М.Ф., ПОДЛАЗОВ В С. Сетецентрический подход к обеспечению отказоустойчивости многопроцессорных систем реального времени // Четвертая всероссийская мультиконференция по проблемам управления (МКПУ-2011), Дивноморское. Т. 1. - С. 305-30S.
7. ПОДЛАЗОВ В.С., КАРАВАЙ М.Ф. Системные сети с прямыми каналами для многопроцессорных вычислительных систем - идеальные системные сети // Palmarium Academic Publishing. - 2012. - 16s с. - [Электронный ресурс]. - URL: http://www.ipu.ru/sites/default/files/publications/1S125/ 3747-1S125.pdf (дата обращения: 14.09.2013).
S. ALVERSON R., ROWETH D., KAPLAN L. The Gemini System Interconnect // 18th IEEE Symposium on High Performance Interconnects, 2009. - P. S3-S7.
9. ARIMILI B., ARIMILI R., CHUNG V., ET AL. The PERCS High-Performance Interconnect // 18th IEEE Symposium on High Performance Interconnects, 2009. - P. 75-82.
10. BHUYAN L.N. AND AGRAWAL D P. Generalized Hypercube and Hyperbus Structures for a Computer Network // IEEE Transaction on Computers. - 1984 - Vol. C-33, №4. -P. 323-333.
11. Graph 500List// June, 2012. - [Электронный ресурс]. - URL: http://www.graph500.org/results_june_2012 (дата обращения: 14.09.2013).
12. HRUSKA J. After Years of Work IBM, NCSA Cancel «BlueWa-
ters» Supercomputer // August, 2011. - [Электронный ресурс]. - URL: http://hothardware.com/News/After-Years-of-
Work-IBM-NCSA-Cancel-Blue-Waters-Supercomputer (дата обращения: 14.09.2013).
13. ZIAVRAS S.G. AND KRISHNAMURTHY S. Evaluating the communications capabilities of the generalized hypercube interconnection network // Concurrency: Practice and Experience. -1999 - Vol. 11, №б. - P. 281-300.
EXTENDED GENERAIZED HYPERCUBE AS FAIL-SAFE SYSTEM NETWORK FOR MULTIPROCESSOR SYSTEMS
Mikhail Karavay, Institute of Control Sciences of RAS, Moscow, Doctor of Science, assistant professor ([email protected]), (Moscow, Profsoyuznaya st., 65, (495)334-90-00).
Viktor Podlazov, Institute of Control Sciences of RAS, Moscow, Doctor of Science, assistant professor ([email protected]), (Moscow, Profsoyuznaya st., 65, (495)334-78-31).
Abstract: We suggest a novel system network structure for high-performance multiprocessor computers. The system network has the structure of an extended generalized hypercube where links of complete graph topology in rows are replaced with links of quasi-complete graph topology with much less number of links.
Keywords: massive parallel multiprocessor computer, system area network, direct channel, nonblocking self-routing network, ideal network, distributed full switch, generalized hypercube, server PERCS.
Статья представлена к публикации членом редакционной коллегии Д.А. Новиковым
Поступила в редакцию 14.03.2013.
Опубликована 30.09.2013.
