CC BY
43
УДК 004.724.2+004.272.43 ББК 3.9.7.3.02
ПОВЫШЕНИЕ ХАРАКТЕРИСТИК МНОГОМЕРНЫХ ТОРОВ
Подлазов В. С.1
(ФГБУН Институт проблем управления им. В.А. Трапезникова РАН, Москва)
Рассмотрен способ сокращения диаметра и повышения пропускной способности пары встречных колец и двух-четырех пар таких колец в высокопроизводительных многопроцессорных вычислительных системах с системной сетью на основе многомерного тора. Результат получен за счет изменения только топологии пары колец - за счет превращения их в пару минимальных коммутируемых мультиколец с разными шагами в каждом кольце. Уменьшение диаметра и повышение пропускной способности ведет к значительному сокращению задержек доставки пакетов по сети, состоящей из таких пар колец.
Ключевые слова: высокопроизводительные многопроцессорные вычислительные системы, системные сети, многомерные торы, дуплексные кольца, мультикольца, сеть сервера GEMINI.
1. Введение
Многомерные торы широко применяются для построения системных сетей современных высокопроизводительных параллельных МВС (суперкомпьютеров) [7-9]. В каждом измерении таких торов используется пара встречных симплексных колец -дуплексное кольцо.
Повышение быстродействия тора может быть достигнуто за счет сокращения времени передачи пакетов по кольцам отдель-
1 Виктор Сергеевич Подлазов, доктор технических наук, доцент (pod-lazov@ipu.ru, Москва, ул. Профсоюзная, д.65, тел. (495) 334-78-31). 60
ных измерений. Время передачи по отдельному кольцу складывается из времен доставки пакетов по кольцу, времени ожидания передачи в это кольцо и времени передачи в кольцо. Время доставки по дуплексному кольцу может быть уменьшено за счет сокращения его диаметра. Время ожидания передачи в дуплексное кольцо (нахождения в очереди к нему) может быть уменьшено за счет повышения его пропускной способности.
Среднее время доставки пакета по кольцу T0 прямо пропорционально его диаметру D: T0 = kD. Для симплексного кольца D = N, а для дуплексного кольца D = N/2, где N - это число узлов в кольце. При промежуточной буферизации пакета в каждом узле k = B/2 для равномерного распределения длин маршрутов, где B = b/v - длительность передачи пакета, b - длина пакета, а v - скорость передачи по кольцу.
Многомерные торы применяются в первую очередь для сокращения времени доставки пакетов по системной сети и повышения ее пропускной способности за счет пространственного распараллеливания. Так, в суперкомпьютере Blue Gene [8] используется 5-мерный тор, в высокоскоростной системной сети Ангара [7] - 4-мерный и в суперкомпьютере Gemini [9] -3-мерный, при числе узлов тора от 1,5 миллионов до десятков и сотен тысяч. Если обозначить число узлов в кольце измерения i (1 < i < n) как Ni, а его диаметр как Di, то число узлов N в n-торе выражается как
N = nN,
i=i
а его диаметр D - как
n
D = IA.
1=1
В дуплексных кольцах пакеты удаляются из канала приемниками, а не источниками, как в кольцах с передачей жезла. Как следствие их пропускная способность w больше скорости передачи v, т.е. выражается как w = cv [1-5]. Коэффициент c называется емкостью кольца, а сами кольца являются кратными
Для кольца с передачей жезла c ~ 1. Для симплексного кратного кольца с = 2. Для дуплексного кратного кольца с зависит от распределения длин маршрутов по кольцу и размеров
очереди пакетов для передачи в каждом узле. При передаче пакетов по кратчайшему маршруту для равномерного распределения длин маршрутов и большой очереди в несколько десятков пакетов достигается c = 8 при большом числе узлов [1]. При высокой загрузке кольца (больше c / 2) время ожидания передачи в кольцо растет гиперболически и может оказаться больше времен доставки пакетов по кольцу. Поэтому повышение c может дать существенное сокращение общего времени передачи пакетов.
Задача повышения быстродействия системной сети является постоянно актуальной, особенно в связи с постоянным ростом числа и производительности процессоров в узлах суперкомпьютеров и растущими требованиями к характеристикам системной сети. Для многомерного тора ее можно дополнительно решать за счет сокращения диаметров колец разных измерений и повышения их пропускной способности. Последняя задача обычно решается за счет увеличения числа колец в каждом измерении [9] и/или повышения числа измерений [7, 8].
В данной работе ставится и решается задача повышения быстродействия колец каждого измерения тора за счет сокращения их диаметра и повышения пропускной способности. Обе эти цели достигаются только за счет изменения топологии пар колец каждого измерения без увеличения числа портов узлов, используемых для подсоединения к кольцам. Для этого каждое дуплексное кольцо заменяется на минимальное коммутируемое мультикольцо, в котором изменены только соседи в парах колец. При этом число дуплексных портов Mi, используемых для включения узлов в кольца /-го измерении, остается неизменным по сравнению с дуплексными кольцами. При наличии в /-м измерении т/ дуплексных колец М/ = 2т. Рассматривается ряд модификаций этих мультиколец при разном числе портов в узлах, которые обеспечивают нелинейный рост пропускной способности при увеличении числа портов.
2. Коммутируемые мультикольца
Мультикольцом мы называем обычное симплексное кольцо с одинаковым набором хордовых дуг разной длины, проведенных из каждого узла. Коммутируемым мультикольцом мы назы-62
ваем мультикольцо, в котором пакеты могут передаваться из любого узла по любой дуге. Минимальным мультикольцом мы называем мультикольцо, в котором набор хордовых дуг содержит только одну дугу.
На рис. 1 приведен пример минимального коммутируемого мультикольца с 9 узлами и с хордовой дугой длины 4. Для краткости минимальное коммутируемое мультикольцо обозначим как МКМ.
В остальной части работы мы будем использовать определение мультикольца как набора колец с разными шагами [1, 2]. Формально это можно выразить следующим образом.
Предположим, что узлы перенумерованы целыми числами из [0, N - 1], где N - число узлов. Пусть мультикольцо состоит из т > 1 колец. В ]-м кольце номера узлов образуют последовательность
'Хм = (+ ^ )mod N, где X. е [0, N - 1] (. = 0, 1, ...) и > 0 - шаг <-го кольца (1 < ] < т). Мультикольцо задается набором шагов Бт = (8 = 1, 28, т8), где ^ < 28 < ... < тБ и обозначается как N Щ.
Кольцо с положительным шагом > N / 2 будем также называть встречным кольцом с отрицательным шагом = - 8). Пример мультикольца на 9 узлов из двух колец с набором шагов 82 = (1, 4) приводится на рис. 1. При обратном направлении хор-
довых дуг это было бы мультикольцо S2 = (1, 5) = (1, -4). В дальнейшем кольцо с шагом ^ будем называть кольцом а его дугу - дугой JS.
Будем различать два вида колец - обычные и расщепленные. Обычное кольцо имеет взаимно простые N и В расщепленном кольце N и ^ имеют наибольший общий делитель d, и последовательность X] разделяется на d непересекающихся последовательностей X с периодом N / d (0 < у < d - 1, ;Х0 = у), которые в совокупности содержит все номера из [0, N - 1]. Физически расщепленное кольцо состоит из d миниколец по N / d узлов в каждом.
3. Маршрутизация и диаметр
Минимальное коммутируемое мультикольцо (МКМ) с N узлами является мультикольцом (1, р)}, где 2 < р < _Ж2_.
Рассмотрим маршрутизацию некоторого пакета по МКМ, считая р = _Ми_. Длиной маршрута L является разница номеров (по модулю N приемника и источника пакета. Выразим L как L = Rp + г, где R = ^/р_ и 0 < R < п - 1, а 0 < г < р - 1. Этапом маршрута назовем переход по дуге некоторого кольца.
Пусть сначала N и р взаимно просты. Маршрут длины L состоит из R последовательных этапов по кольцу р и г последовательных этапов по кольцу 1. Маршрут может начинаться с любого кольца. Однако маршруты всех пакетов должны начинаться с одного и того же кольца, иначе возможно возникновение маршрутных тупиков из-за циклической зависимости маршрутов по дугам.
Пусть теперь N и р имеют общий делитель. В этом случае мы рассматривает только МКМ с N = пр, в котором кольцо р состоит из п миниколец по р узлов каждое. Здесь маршрут содержит R последовательных этапов по миникольцу, содержащему узел-источник, если маршрут начинается с кольца р, и по миникольцу, содержащему узел-приемник, если маршрут начинается с кольца 1.
При описанной маршрутизации диаметр МКМ выражается как D = п + р - 2, что существенно меньше, чем у дуплексного
кольца, в котором D = N / 2. Несмотря на меньший диаметр, МКМ является несимметричной по задержкам сетью при обменах пакетами в произвольной паре узлов. Этот недостаток можно устранить при увеличении числа портов абонентов, т.е. при увеличении числа колец.
Если число дуплексных портов в каждом измерении больше 2, возможно дальнейшее уменьшение диаметра каждого измерения. Так в [9] все измерения содержит не менее двух дуплексных колец, т.е. число дуплексных портов mi > 4. Если mi = 4, то можно использовать дуплексное МКМ (ДМКМ), состоящее из двух встречных МКМ, и маршрутизацию в нем осуществлять по кратчайшему пути. ДМКМ является симметричной сетью.
Рассмотрим маршрутизацию в ДМКМ при условии, что п и р являются четными и N = пр. Здесь L выражается опять как L = Rp + г, однако числа этапов задаются другими ограничениями: -п/2 < R < п/2, а -р/2 < г < р/2 и задаются по следующему алгоритму.
Если L < N/2, то R = L/p, если L > N/2, то R = ^ - Н)р, иначе R = ±N/2 с равной вероятностью. Сначала случай L < N/2. Если I = N - Rp < р/2, то г = I, иначе г = I - р и R = R+1. Теперь случай L > N/2. Если I = N + Rp <р/2, то г = -I, иначе г = р - I и R = R - 1.
Если R > 0, то для передачи пакетов используется кольцо р прямого МКМ, в противном случае - кольцо р встречного МКМ. Если г > 0, то для передачи пакетов используется кольцо 1 прямого МКМ, в противном случае - кольцо 1 встречного МКМ.
При такой маршрутизации диаметр ДМКМ выражается как D = (п + р)/2, что почти вдвое меньше, чем у МКМ
4. Аналитическая модель МКМ
Оценим пропускную способность МКМ в тех же условиях, при которых для дуплексного кольца асимптотически достигается с = 8. Это случай такой перегрузки сети, при которой каждый узел имеет пакет для передачи в кольцо всякий раз, когда мимо него проходит по этому кольцу пустой сегмент. В этом случае расчет пропускной способности можно осуществлять по
65
средним длинам маршрутов [1, 2]. Если предположить, что каждый узел генерирует один пакет для передачи за период равный длительности пакета, то такой режим реализуется при достаточно большой очереди пакетов для передачи.
В модели предполагается передача пакетов постоянной длины в тактовых сегментах, циркулирующих независимо по обоим кольцам МКМ. Любой пакет, маршрут которого имеет г = 0, переносится в сегменте(ах) только кольца р, а пакет с R = 0 - сегменту(ах) только кольца 1. Пакет с г Ф 0 и R Ф 0 переносится в сегменте(ах) одного кольца, а затем коммутируется в сегмент другого кольца. Среднее число пакетов, перенесенных в сегменте за один его проход по ¡-му кольцу, называется его емкостью ci. Примем для МКМ, что i = 0 для кольца 1 и i = 1 для кольца р.
Перенос пакета по кольцу может осуществляться прямо или с приостановкой в промежуточных узлах. В первом случае пакет переносится прямо в том сегменте, в который он был передан узлом-источником или узлом, осуществляющим коммутацию в другое кольцо. Во втором случае некоторый промежуточный узел, имеющий пакет для передачи, заменяет пакет в сегменте на свой и заносит чужой пакет в свою очередь пакетов на передачу.
Среднее число пакетов, перенесенных за один оборот сегмента по ¡-му кольцу при условии наличия пакета для передачи в каждом узле, называется его емкостью ci. Известно [1, 2], что при прямом переносе пакетов с1 = N / L¡, где L¡ - средняя длина (в этапах) части маршрута по ¡-му кольцу. Число пакетов, доставленных узлам-приемникам за один оборот сегмента по ¡-му кольцу, называется его эффективной емкостью ¿¡. Очевидно, что с1 < с1, так как большинство пакетов переносится в сегментах разных колец. Эффективная емкость МКМ составляет С = с0 + с1. Оценим эти емкости для равномерного распределения длин маршрутов при прямом переносе пакетов.
Нетрудно видеть, что для кольца 1 имеем
_ р-1
^ =£k/(р -1) = р/2 и с0 = 2N/р .
k=1
Аналогично для кольца р имеем
Ц =]Гk/(п-1) = п/2 и с = 2N/п .
k=1
Расчет эффективной емкости зависит от выбора первого кольца для передачи пакетов с маршрутами по двум кольцам и от соотношения п и р.
Пусть первым является кольцо 1. На передачу по нему в среднем претендует (р—1) 1-кольцевых пакетов (с г Ф 0 и Я = 0) и N- п -р + 1) 2-кольцевых пакетов (с г Ф 0 и Я Ф 0). Их доля составляет д0 = (р - 1) / N - п) и Q0 = N - п - р + 1) / ^ - п) соответственно. Первые доставляются к приемникам, и их среднее число выражается как с0д0 = 2Щр - 1) / [^ - п) р] и задает эффективную емкость кольца 1 с0 = с0д0. Вторые коммутируются в кольцо р, и их среднее число составляет величину ^0 = 2N / р - 2N(p - 1) / [^ - п)р].
На передачу по кольцу р в среднем претендует (п - 1)
1-кольцевых пакетов (с г = 0 и Я Ф 0) и скоммутированные
2-кольцевые пакеты (с г Ф 0 и Я Ф 0). Их доля составляет д1 = (п - 1) / N - р) и Ql = N - п - р + 1) / N - р) соответственно. Первые доставляются к приемникам, и их среднее число выражается как с1д1 = 2^п - 1) / [^ - р)п], но составляет только часть эффективной емкости кольца р. Вторые могут быть доставлены приемниками, и их среднее число выражается как
c1Q1 = 2N / п - 2N(п -1) /[(N - р)п].
Если общее число пакетов, претендующих на передачу по кольцу р, превышает с1, то оно всех их пропустить не может, и поэтому с1 = с1, с0 = с0д0 и
С = с0 + с1 = 2N / п + 2N(р -1) /[(N - п)р]. Эти формулы выполняются при с^о + с1д1 > с1 или [1/р - (р -1)]^ - р) /р > [1/п - (п - 1)]^ - п) / п. Формально при N = пр они упрощаются до с0 = 2, с1 = 2р, С = 2р + 2 и п > р.
В противном случае кольцо р работает с недогрузкой, т.е. нарушаются условия расчета по средним. В этом случае можно указать только нижнюю границу с1. Она складывается из числа
сщ\ пакетов, доставленных прямо по кольцу р, и числа пакетов с0<20, доставленных после коммутации из кольца 1. Поэтому
с1 > СА + С0Я0 , а
С > С0 + сЛ + с0б0 = 2N / р + 2N(п -1) /[(N - р)п]. При этом сохраняется ограничение С < с1 .Формально при
N = пр эти неравенства упрощаются до С > 2п + 2 . Таким образом, при N = пр имеем:
(1) С = 2 р + 2 при п > р ,
(2) С > 2п + 2 при п < р .
Пусть теперь первым является кольцо р. Аналогичные рассуждения приводят при N = пр к формулам
(3) С = 2п + 2 при п < р ,
(4) С > 2р + 2 при п > р .
5. Имитационная модель
Для исследования свойств МКМ в различных режимах функционирования была создана его имитационная модель. Эта модель в исходном виде имитирует прямой (без приостановок) перенос пакетов постоянной длины в сегментах той же длины при взаимно простых N и р. Сначала сегмент обходит все узлы по одному кольцу (делает полный оборот по кольцу), затем другой сегмент обходит все узлы по другому кольцу. Это повторяется многократно (К = 104 раз) без очистки сегментов после каждого обхода. В процессе каждого обхода подсчитывается суммарное число доставленных приемникам пакетов по каждому кольцу и по обоим кольцам. После К обходов эти числа усредняются по К и задают эффективные емкости колец и МКМ в целом.
До начала обхода колец каждый узел генерирует 1 пакет с равномерным распределением длин маршрутов. Аналогично каждый узел генерирует 1 пакет после обхода обоих колец. В каждом узле они поступают в конец очередей пакетов для передачи в соответствующие кольца. После обхода первого кольца скоммутированные в другое кольцо пакеты поступают в конец
очереди к этому кольцу в том узле, где произошла коммутация. Для выполнения условий работоспособности аналитической модели размер очереди в имитационной модели берется равным числу тактов моделирования K.
Во втором варианте в кольце p используется p разных сегментов, из которых 7-й сегмент (0 < i < p - 1) используется начиная с 7-го узла до тех пор, пока номер очередного узла не превысит 7. После завершения полного оборота содержимое i-го сегмента переносится в (7 + 1) mod p сегмент. Этот вариант является промежуточным для перехода к основному варианту с N = pn.
В основном (третьем) варианте кольцо p расщепляется на p миниколец с n узлами каждое, в которых используется p независимых сегментов. При этом суммарное число доставленных приемникам пакетов (за K обходов узлов) считается для кольца 1 и каждого миникольца и для всей их совокупности в целом. Усредненное суммарное значение и задает эффективную емкость кольца p.
Рассмотрение этих вариантов потребовалось для проверки правильности имитационной модели в основном варианте. Критерием ее правильности является совпадение значений эффективной емкости МКМ, полученных расчетом по аналитической модели и посредством эксперимента на имитационной модели во всех ее вариантах. Рассмотрим полученные результаты.
Пусть начальным кольцом для 2-кольцевых маршрутов является кольцо 1 и N = np + 1. В таблице 1 представлены результаты экспериментов с первым вариантом имитационной модели при четном n. Подчеркнутые значения задают нижнюю границу в области n < p. Отметим совпадение значений с точностью до нескольких процентов результатов аналитической и имитационной модели в области n > p за исключением случая p = 2, где точность составила 15%.
Результаты экспериментов со вторым вариантом имитационной модели оказались очень близкими. При этом необходимо отметить более пульсирующий характер трафика со значительно большими значениями среднеквадратичного отклонения.
Результаты экспериментов с основным (третьим) вариантом имитационной модели представлены в таблице 2 для случая,
когда начальным для передачи является кольцо 1, и в таблице 3 - для случая, когда начальным является кольцо р.
Таблица 1. Эффективная емкость МКМ в первом варианте модели. Начальная передача в кольцо 1
N п 2 4 6 8 12 16 32 48
17 Имитация 6,4 9,8 5,1
Аналитика 6,1 10,5 6,1
25 Имитация 6,3 12,5 9,9 8 5
Аналитика 61 10,3 10,3 8,2 6,1
33 Имитация 6,2 12,3 9,9 5
Аналитика 6,1 10,2 10,2 6,1
49 Имитация 6,1 12,2 17,3 13,7 9,9 8
Аналитика 6 10,2 14,2 14,2 10,2 8,1
65 Имитация 6,1 12,2 17,6 10 5
Аналитика 6 10,1 18,2 10,1 6
97 Имитация 6,1 12,1 18,2 24,2 17,7 13,9 8 5
Аналитика 6 10,1 14,1 18,2 18,2 14,1 8,1 6
Таблица 2. Эффективная емкость МКМ в основном варианте. Начальная передача в кольцо 1
N п 2 4 6 8 12 16 32 48
16 Имитация 5,1 10 5,1
Аналитика 6 10 6
24 Имитация 5 11,1 10 8 5
Аналитика 6 10 10 8 6
32 Имитация 5 11,1 9,9 5
Аналитика 6 10 10 6
48 Имитация 5 11,1 17,1 14 10 8
Аналитика 6 10 14 14 10 8
64 Имитация 5 11 18 10 5
Аналитика 6 10 18 10 6
96 Имитация 5 11 17,1 23 18 14 8 5
Аналитика 6 10 14 18 18 14 8 6
Отметим хорошее совпадение результатов аналитической и имитационных моделей в областях точных оценок первой. При этом трафик в основном варианте оказался столь же равномерным, как в первом варианте.
Таблица 3. Эффективная емкость МКМв основном варианте. Начальная передача в кольцо р_
N п 2 4 6 8 12 16 32 48
16 Имитация 5 10 5,1
Аналитика 6 10 6
24 Имитация 5,1 10 11,2 8,1 5
Аналитика 6 10 10 8 6
32 Имитация 5,1 10 11,1 5
Аналитика 6 10 10 6
48 Имитация 5,1 10 14 17,1 11,1 8,1
Аналитика 6 10 14 14 10 8
64 Имитация 5 10 18 11 5
Аналитика 6 10 18 10 6
96 Имитация 5 10 14 18 23,1 17 8 5
Аналитика 6 10 14 18 18 14 8 6
Приведенные выше результаты позволяют сделать вывод о достаточной точности имитационной модели, что делает ее основным инструментом дальнейшего исследования свойств МКМ и ДМКМ.
6. Экспериментальные свойства МКМ и ДМКМ
Первое свойство МКМ состоит в том, что в максимальные значения С в таблице 2 для любых N находятся при больших или равных значениях п, чем в таблице 3. Отметим, что такие кольца в МКМ требуют меньшего расхода кабеля.
Эксперименты с имитационной моделью показали, что МКМ при прямом переносе пакетов и при переносе с приостановками имеет разные эффективные емкости. При доставке пакетов с приостановкой эффективная емкость снижается на
20^30%. Такое снижение является следствием увеличения реальной длины маршрутов. Действительно, пусть пакет со случайной длиной е (1 < е < р - 1) приостанавливается после первого этапа. Тогда после приостановки пакета средняя длина е его маршрута оказывается больше, чем до приостановки, а именно: е = 1 + (р -1)/2 > р/2 +1/2 .
Имитационная модель создавалась сразу для ДМКМ, а все предшествующие исследования проводились на ее односторонней половине. Такая нацеленность объясняется ожиданием [1], что эффективная емкость увеличится более чем в 2 раза при совместном использовании встречных МКМ. В таблице 4 представлены результаты экспериментов в основном варианте имитационной модели для ДМКМ. Максимальные значения эффективной емкости в них выделены жирным шрифтом.
Таблица 4. Эффективная емкость ДМКМ в основном варианте. Начальная передача в кольцо 1_
тп 2 4 6 8 12 16 32 48 64
16 15 16 13,3
24 15,7 24 24 19,7 14,2
32 16 31 29,3 14,5
48 16,4 32,3 47 45,3 30,9 21,7
64 16,5 33 60,9 31,6 15,3
96 16,7 33,7 50 65,8 64,1 48,6 22,8 15,5
128 16,8 34,1 67 65,6 32,8 15,7
7. Практические ограничения
Для оценки практически достижимых эффективных емкостей МКМ и ДМКМ необходимо ограничить размеры очереди пакетов Q в каждом узле. Имитационное моделирование было проведено для Q = 10д, при q = 0, 1/2, 1, 2, 3, 4. Полученные при таком моделировании эффективные емкости обозначим Сч. В предыдущем разделе фактически рассматривались значения С4, полученные в различных вариантах функционирования модели.
Рассмотрим величину отношения рд — Сд /С4 для условии таблицы 3 и таблицы 4 и тех N в них, при которых Сд достигает максимальных значении.
Таблица 5. Значения отношений емкостей рд = Сд /С4 для МКМ
N 16 24 32 48 64 96
д — 2 0,99 0,83 0,8 0,79 0,99 0,75
д — 1 0,93 0,83 0,79 0,78 0,96 0,75
д — 5 0,86 0,83 0,8 0,78 0,9 0,75
д — 0 0,73 0,76 0,77 0,78 0,82 0,73
В таблице 5 приводятся значении рд при разных N для МКМ, а в таблице 6 - для ДМКМ. Видно, что при Q — 3 (д — 1/2) имеет место приемлемое для практики уменьшение значении эффективных емкостеИ.
Таблица 6. Значения отношений емкостей рд = Сд /С4 для ДМКМ_
N 16 24 32 48 64 96
д — 2 1 1 0,99 1 0,99 0,96
д — 1 1 1 0,94 0,93 0,87 0,92
д — 5 0,96 0,92 0,82 0,77 0,72 0,82
д — 0 0,74 0,68 0,62 0,57 0,54 0,64
8. Сравнительные характеристики
Сравним полученные характеристики для МКМ и дуплексного кольца (ДК) и дуплексного МКМ (ДМКМ) и пары дуплексных колец (ПДК).
Сначала сравним их диаметры ^мкм, ^дмкм и DдК. На рис. 2 приводятся значения отношении а — DдК/DМКМ: и ¡3 — DдК/DдМКМ с учетом того DдК — DцдК. Видно, что в практически важном диапазоне 16 < N < 64 имеет место уменьшение диаметра МКМ в 1,3^- 2,3 раза и диаметра ДМКМ - в 2^4 раза.
Рис. 2. Отношения эффективных емкостей / = Смкм/Сдк и т = Сдмкм/Сцдк при Q = 3
Теперь сравним их пропускные способности, заданные максимальными эффективными емкостями. На рис. 3 приводятся значения отношений /и = Смкм/Сдк (таблица 3) и Т = Сдмкм/ СпДК (таблица 4) для Q = 3 (д = 1/2). При этом значения Сдк и Спдк получены также в имитационной модели для д = 1. Видно, что в практически важном диапазоне 16 < N < 64 имеет место увеличение пропускной способности МКМ в 1,2^2,1 раза и пропускной способности ДМКМ - в 1,4^3,1 раза.
Известно [3], что в модели M/G/1 теории массового обслуживания зависимость задержки передачи пакета Тот загрузки кольца s для симплексного кратного кольца имеет вид (5) т = Е/(с - s).
Здесь s - загрузка кольца s = ЛВ, где Л (с-) - суммарная интенсивность генерации пакетов, В = Ь^ (с) - средняя длительность пакета, а Ь (бит) - средняя длина пакета. Функция Е^, Ь, (с) зависит от загрузки s и ее дисперсии, средней длины пакетов Ь и ее дисперсии с1, но не зависит от емкости с. В формуле (5) емкость кольца задает положение вертикальной асимптоты гиперболической зависимости роста задержки от загрузки. При высокой загрузке ^ > 0,7 с) увеличение емкости в 1,5^2 раза приводит к уменьшению задержки передачи в несколько раз.
При равномерной загрузке узлов знаменатель формулы (5) можно выразить как ^у- о), где у = c/N - удельная емкость, а = ЛВ - удельная загрузка и Л- интенсивность генерации пакетов узлом. Тогда однородную многокольцевую сеть удобно характеризовать вектором Г = (у, ..., ут), где у - удельная емкость кольца 1 (1 < 1 < т) и т - число проходящих через каждый узел колец, и вектором Р = (рь ..., рт), где р1 - доля пакетов, передаваемых по кольцу 1. Тогда емкость сети С можно оценить как
т
С = Я(ГР) = Я^у.р. ,
1=1
где Я - число узлов в сети.
По аналогии можно предположить, что для МКМ и ДМКМ зависимость Т^) имеет такой же вид с заменой емкости кольца с на эффективную емкость мультикольца С. Поэтому можно сделать вывод, что оба отмеченных фактора преимущества МКМ над ДК и ДМКМ над ПДК по совокупности приводят к сокращению задержек доставки пакетов по системной сети в несколько раз.
9. ДМКМ с разреженными кольцами
В [4, 5] был разработан метод повышения пропускной способности нескольких дуплексных колец (ДК) за счет образова-
ния их них мультикольца с разреженными кольцами. Он опирается на метод инвариантного расширения произвольных сетей с использованием топологии квазиполного графа [5], описываемого симметричными блок-схемами, рассматриваемыми в комбинаторике.
В данном разделе этот метод применяется для ДМКМ вместо ДК. В нем исходная сеть из двух одинаковых ДМКМ с N узлами по 8 портов в каждом преобразуется в сеть ДМКМРК из трёх ДМКМ с разреженными кольцами, содержащую ^мемре = ^^мкм узлов при неизменном числе портов в узлах. В таблице 7 показан пример вставки узлов в кольца. Топология каждого ДМКМРК задается по порядковым номерам узлов в кольцах, а не их сквозными номерами в сети. Это означает, что дуги в кольцах с шагом ±1 и хорды в кольцах с шагом ±р прокладываются между узлами, порядковые номера которых различаются на указанный шаг.
Таблица 7. Таблица размещения узлов в кольцах при NдМКМ = 10, П - порядковые номера узлов, в ячейках - номера узлов кольца
ДМКМ/П 1 2 3 4 5 6 7 8 9 10
1 1 3 4 6 7 9 10 12 13 15
2 1 2 4 5 7 8 10 11 13 14
3 2 3 5 6 8 9 11 12 14 15
Отметим, что представленный подход ориентирован на тор, измерения которого содержат 4 дуплексных кольца с 8 портами в узлах. По сравнению с этой сетью пропускная способность сети ДМКМРК в каждом измерении увеличится в 1,5тСдмкм(^дмкм)/Сцдк(^дмкмрк) раз, где т берется из графика Рис. 2, а С - из таблицы 6. В результате емкость ДМКМРК больше емкости двух ПДК в 1,6^3,0 раз при 24 < Л^дмкмрк < 96.
10. Резервы тора Gemini
3-мерный тор суперкомпьютера Gemini [9] имеет в первом измерении 2 одинаковых кольца с N = 16 узлами. Во втором и третьем измерениях этот тор содержит по 4 одинаковых дуп-
лексных кольца с N = 32 узлами. При этом первое измерение имеет диаметр D = 8 и суммарную емкость С < 16. Соответственно, второе и третье измерения имеют D = 16 и суммарную емкость каждого С < 32. Отметим, что во всех измерения удельная емкость у = С/N не превосходит 1.
При использовании в первом измерении ДМКМ его диаметр уменьшится до D = 4, а суммарная емкость С вырастет в г ~ 1,2 раза, и удельная емкость станет у> 1. При этом имеется возможность увеличивать число узлов N в несколько раз, обеспечивая пропорциональное повышение емкости С и дальнейший рост удельной емкости у.
Во втором и третьем измерениях можно использовать ДМКМРК. Если его строить с ^мкм = 24, то число узлов станет ^мкмж = 36. При этом диаметр останется таким же, как в ДМКМ с ^мкм = 24, т.е. D = 5, а суммарная емкость достигнет Сдмкмрк = ЗСдмкм ~ 66 при Q = 3 или Сдмкмрк = 72 при Q = 10, а удельная емкость - у~ 1,8 или у= 2. Отметим значительное улучшение рассматриваемых характеристик по сравнению с исходным вариантом тора Gemini.
Во втором и третьем измерениях опять имеется возможность увеличивать ^цмкмРк в несколько раз, обеспечивая пропорциональное повышение емкости Сдмкмрк с сохранением у~ 2.
Все это вместе взятое не только обеспечивает повышение быстродействие модифицированного тора, но и обеспечивает возможность достижения этого свойства при значительно большем числе узлов.
11. Минимальные и разреженные мультикольца
Интересно сравнить метод построения разреженных муль-тиколец, примененный в двух предыдущих разделах как метод второго порядка, с прямым методом расширения дуплексных колец с использованием топологии квазиполного графа 4 как методом первого порядка.
Этот метод позволяет расширять m одинаковых дуплексных колец (Дк) с абонентами каждое в мультикольцо c разре-
женными кольцами (МКРК) с тМКРК = RNдк абонентами, где R = т(т - 1) + 1. Это мультикольцо состоит из R колец, из которых каждое кольцо содержит тдК абонентов, т.е. не всех абонентов (разреженное кольцо). Размещение абонентов по кольцам задается топологией простейших мультиколец (ПМК) числом тдК/т с топологией квазиполных графов, склеенных в МКРК с топологией расширенного квазиполного графа 6. Для примера таблица 8 задает схему размещения абонентов по кольцам при тДК = 12 и т = 4.
Таблица 8. Таблица размещения абонентов в мультикольце при
дк/п 1-й ПМК(13,4,1) 2-й ПМК(13,4,1) 3-й ПМК(13,4,1)
1 2 3 4 5 6 7 8 9 10 11 12
1 1 13 11 5 14 26 24 18 27 39 37 31
2 2 1 12 6 15 14 25 19 28 27 38 32
3 3 2 13 7 16 15 26 20 29 28 39 33
4 4 3 1 8 17 16 14 21 30 29 27 34
5 5 4 2 9 18 17 15 22 31 30 28 35
6 6 5 3 10 19 18 16 23 32 31 29 36
7 7 6 4 11 20 19 17 24 33 32 30 37
8 8 7 5 12 21 20 18 25 34 33 31 38
9 9 8 6 13 22 21 19 26 35 34 32 39
10 10 9 7 1 23 22 20 14 36 35 33 27
11 11 10 8 2 24 23 21 15 37 36 34 28
12 12 11 9 3 25 24 22 16 38 37 35 29
13 13 12 10 4 26 25 23 17 39 38 36 30
Пропускная способность мультикольца с разреженными кольцами зависит от его емкости С, которая для равномерного распределения длин маршрутов определяется как С = тдКсдК и совпадает с эффективной емкостью. для небольших тдК емкость дуплексного кольца сдК < 8 определяется имитационным моделированием.
В таблице 9 сравниваются характеристики этих двух видов мультиколец. Видно, что использование МКРК (как и дМКМРК) позволяет уменьшить диаметр сети D, увеличить ее пропускную способность сети и число узлов в ней. Видно, что
МКРК имеет преимущество при малых размерах исходных колец, а ДМКМРК - при больших (в два-три раза) их размерах.
Таблица 9. Сравнительные характеристики мультиколец при m = 4
М [КРК ДМКМРК
^ДК 8 12 16 20 NflMKM 24 32 48 64
D 4 6 8 10 D 5 6 7 8
C 82 85 88 92 C 72 93 142 183
NMKPK 26 39 52 65 ^ДМКМРК 36 48 72 96
У 3,1 2,1 1,7 1,4 У 2 1,9 2 1,9
12. Заключение
В работе рассмотрен способ сокращения диаметра и повышения пропускной способности пары встречных колец и двух-четырех пар таких колец. Результат получен за счет изменения только топологии пары колец - за счет превращения их в пару коммутируемых колец с разными шагами в каждом кольце. Уменьшение диаметра и повышение пропускной способности ведет к значительному сокращению задержек доставки пакетов по сети, состоящей из таких пар колец.
Литература
1. АЛЛЕНОВ А.В., ПОДЛАЗОВ ВС., СТЕЦЮРА ГГ. Пропускная способность набора кольцевых каналов I. Класс наборов колец. Наборы с простыми узлами // Автоматика и телемеханика. - 1996. - №3. - С. 135-144.
2. АЛЛЕНОВ А.В., ПОДЛАЗОВ В С. Пропускная способность набора кольцевых каналов II. Кольцевые коммутаторы // Автоматика и телемеханика. - 1996. - №4. - С. 162-172.
3. АНДРЕЕВ Л.В. Однонаправленные кольцевые сети связи с коммутацией пакетов // Проблемы передачи информации. -1982. - Т. 18, вып. 4. - С. 85-103.
4. КАРАВАЙ М.Ф., ПОДЛАЗОВ В С. Топологические резервы суперкомпьютерного интерконнекта // Управление большими системами. - 2013. -№41. -С. 395-423.
5. КАРАВАЙ М.Ф., ПОДЛАЗОВ В С. Метод инвариантного расширения системных сетей многопроцессорных вычислительных систем. Идеальная системная сеть // Автоматика и телемеханика. - 2010. - №10. - С. 166-176.
6. КАРАВАЙ М.Ф., ПОДЛАЗОВ В С. Отказоустойчивость через внутреннюю параллельность // XXII Всероссийское совещание по проблемам управления. - М.: ИПУ, 2014. -С. 7256-7269.
7. МИХЕЕВ В.А. И ДР. Реализация высокоскоростной сети для суперкомпьютерных систем: проблемы, результаты, развитие. - [Электронный ресурс]. - URL: http://2013.nscf.ru/ TesisAll/Section%201/12_2761_SimonovAS_S1.pdf (дата обращения: 14.09.2014).
8. ПОЗДНЕЕВ А. Blue Gene/Q: как обуздать массивный параллелизм. - [Электронный ресурс]. - URL: http://2013 .nscf.ru/Presentations/IBM/AlexanderPozdneev-HowToHarnessMassiveParallelism.pdf (дата обращения: 14.09.2014).
9. ALVERSON R., ROWETH D. AND KAPLAN L. The Gemini System Interconnect // 18th IEEE Symposium on High Performance Interconnects, 2009. - P. 3-87.
BOOSTING PERFORMANCE OF MULTIDIMENTIONAL RINGS
Viktor Podlazov, Institute of Control Sciences of RAS, Moscow, Doctor of Science, assistant professor (podlazov@ipu.ru, Moscow, Profsoyuznaya st., 65, (495)334-78-31).
Abstract. We suggest a technique to boost speed of system networks in massive parallel multiprocessor computers by decreasing diameter and increasing the throughput of single duplex rings, ring tuples and quadruples. The result is due to replacing a duplex ring with a pair of commutable multidimensional rings. The technique provides considerable reduction of ring diameters and increase of ring throughput.
Keywords: massive parallel multiprocessor computer, system area networks, multidimensional rings, duplex rings, multidimensional rings, network of GEMINI server.
Статья представлена к публикации членом редакционной коллегии С.Г. Куливцом
Поступила в редакцию 26.06.2014.
Опубликована 30.09.2014.
