CC BY
35
УДК 021.8 + 025.1 ББК 78.34
«РЕБЕРНОЕ» МАСШТАБИРОВАНИЕ ВЫЧИСЛИТЕЛЬНЫХ СИСТЕМ1
Мелентьев В. А.
(ФГБУН Институт физики полупроводников им. А.В. Ржанова СО РАН, Новосибирск)
Исследуется проблема повышения потенциала распараллеливания задач в вычислительной системе без наращивания числа ее процессоров: модифицированием исходной топологии, дополняющим ее отношения смежности между процессорами, при том что базовые способы адресации и маршрутизации остаются прежними. Для систем с гиперкубической топологией получены функции предельной распараллеливаемости и топологической масштабируемости на задачах, в которых длина пути между информационно смежными ветвями лимитирована объемами обрабатываемых данных и используемой сетевой технологией. Приведены соответствующие графики, дан их анализ.
Ключевые слова: гиперкубическая вычислительная система, суперкомпьютер, параллелизм, топологическая масштабируемость, реберное масштабирование.
1. Введение
Известно, что ограничение ускорения и эффективности распараллеливания задачи при отсутствии в ней скалярных фрагментов обусловлено наименее быстродействующим компонентом реализующей эту задачу подсистемы [20], каковым, как
1 Работа выполнена при поддержке РФФИ, проект №14-07-00169а.
2 Виктор Александрович Мелентьев, кандидат технических наук (те[уа@1&р. тс. ги).
правило, является коммуникационная среда - интерконнект вычислительной системы (ВС). Быстродействие этой среды обусловлено расстояниями между информационно смежными в задачах процессорами [6] и используемой сетевой технологией.
Центральной проблемой горизонтального масштабирования ВС, связанной с ожиданиями соразмерного приращения параллелизма решаемых задач, является то, что увеличение порядка информационного графа задачи приводит к неполиномиальному росту трудоемкости поиска изоморфных его вложений при существенном снижении вероятности наличия таковых. Это связано с тем, что в основе используемых при вложении параллельной задачи алгоритмов лежит сопоставление отношений смежности вершин информационного графа задачи и вершин графа системы. Однако в силу известных технико-экономических факторов полная связность всех процессоров системы реализована быть не может, поэтому условие физической смежности задействованных в параллельной задаче процессоров даже при малом их числе не всегда может быть реализовано, и с масштабированием задачи эта проблема лишь усугубляется.
Для решения этой проблемы в информационную модель ВС предложено представлять графами, отношения смежности вершин в которых удовлетворяют требованиям в части предельно допускаемых для параллельных задач расстояний д между процессорами организованных для их решения подсистем [9]. Такие графы, порожденные множеством вершин Vграфа 0(У, Е) и матрицей д-достижимости Кд, названы графами д-достижимости Од(У, Ед). В них Ед е Кд, где Яд - отношение д-достижимости, связывающее ребром вершины и и V, если расстояние ё(и - V) в графе О^, Е) не превышает величины д: (и - V) е Яд ^ ё(и - V) < д. В [11] установлены функциональные зависимости таких расстояний от свойственных задаче объемов вычислительных операций Ж и обмениваемых данных Q, от требуемых значений ускорения 8р и/или эффективности Ер решения этих задач при их распараллеливании на р ветвей. Большему значению д при этом соответствует большее значение степени $(О0) получаемого таким образом графа д-
достижимости Gg и большее значение его д-плотности1 ф(Од) = ^s(G). Естественно, что вложение в такие графы параллельных задач, ранг которых не превышает д-плотности, может быть произвольным, а возможности изоморфного вложения в них задач с большим числом ветвей - существенно выше. В [12] проведено исследование функциональной зависимости порядка наибольшей компоненты д достижимости (д-клики) гиперкубической ВС2 от размерности 5 гиперкуба и от лимитируемой в нем достижимости д вершин.
В [11] впервые восполнен пробел в оценке влияния топологии на масштабируемость параллельных систем и решаемых на них задач. С этой целью была предложена разделенная на две составляющие модель параллельных вычислений: первая часть отнесена к параллельным приложениям и приписывает им свойства неограниченной распараллеливаемости [1], вторая отнесена к вычислительной системе, ограничения параллелизма в которой обусловлены дефицитным в сравнении с процессорами быстродействием интерконнекта. Это позволило разделить технологический и топологический аспекты масштабирования системы и исследовать взаимную их обусловленность при масштабировании задач в этой системе. При этом выявлено, что в зависимости от свойственных задаче объемов вычислительных операций W и обмениваемых данных Q ускорение Sp ее решения, минимальное число p используемых при этом процессоров и лимитируемое при этом расстояние д между информационно смежными процессорами коррелированы используемой в системе сетевой технологией (Network Technology - NT). Там же показано, что совместность определенных таким образом параметров для заданного набора (W, Q)-задач, решаемых в системе
1 По аналогии с плотностью графа О его д-плотность равна порядку наибольшей в графе д-достижимости Од клики К(Од).
2 Здесь и далее, говоря о ВС, по умолчанию предполагаем использование ею сетевой технологии, которая для (Ж, Q)-задачи ранга р с требуемыми значениями показателей эффективности ее решения обусловливает предельно допустимую достижимость д.
с заданной ЫТ, определяется топологией ВС. Иными словами, при решении на ВС некоторой (Ж, Q)-задачи заданное ускорение S может быть обеспечено при разбиении этой задачи не менее чем на р параллельных ветвей, а так как расстояния между информационно смежными процессорами ограничены используемой в системе ЫТ и не должны превышать некоторого значения д(р), то топология должна обеспечить наличие в графе ВС соответствующего подграфа д-достижимости порядка, не меньшего р.
Понятно при этом, что информационно полносвязные задачи предъявляют к топологии ВС наиболее жесткие требования, и что наилучшей топологической масштабируемостью система обладает на топологически адекватных ей задачах. В [16] это наглядно продемонстрировано сопоставлением функций топологической масштабируемости гиперкубических ВС и предельной распараллеливаемости на них задач с полносвязной, кольцевой и звездной информационными топологиями.
Учитывая очевидную зависимость порядка полносвязной с лимитируемой достижимостью компоненты регулярного графа от его степени, в настоящей работе рассмотрен способ «реберного» масштабирования, суть которого состоит в повышении потенциальных возможностей системы в распараллеливании задач не путем наращивания в ней числа процессоров, а существенно менее дорогостоящим повышением степени графа ВС, сохраняющим базовые (исходные) отношения смежности вершин. Необходимым условием при этом является требование использования характерных для исходной топологии ВС принципов адресации и алгоритмов маршрутизации.
Исследования, направленные на совершенствование базовых топологий ВС, имеют хотя и давнюю [23], но продолжающуюся и поныне историю [4, 24]. Однако при этом, во-первых, реализация условия, сводящего к минимуму затраты на переконфигурацию действующей системы, в качества необходимого атрибута изменения топологии не рассматривается в предположении, что оно не требует дополнительных усилий. Во-вторых, результаты топологических изменений в таких исследованиях традиционно оценивают коммуникационными критериями, отнесенными непосредственно к топологии, - диаметром и
шириной бисекции соответствующего ей графа, тогда как предлагаемая здесь постановка требует выявления формального соответствия топологических модификаций изменениям потенциала параллелизма системы.
Изложение сути и демонстрация предлагаемого подхода к оценке таких соответствий, позволяющей проводить сопоставительный анализ собственно параллельных систем, а не используемых ими топологий, и, таким образом, предоставляющей возможность осуществлять обоснованный выбор тех из них, что наиболее соответствуют проблемной ориентации системы, осуществлено на примере систем с гиперкубической топологией. Выбор этой топологии обусловлен прежде всего ее наглядностью и общеизвестностью. Не последнюю роль в выборе сыграло и то, что формальные зависимости масштабируемости систем с «классической» гиперкубической топологией от ее размерности и от заданной для задач достижимости уже определены в [11, 12] и [16], и это позволяет сопоставлять получаемые для модифицированных систем результаты с уже имеющимися. И наконец, несмотря на столь долгую историю использования гиперкубических сетей в построении суперкомпьютеров и несмотря на появление других статических топологий, ориентированных на использование быстродействующих коммутаторов (см., например, [17]) или программируемых логических матриц, использование гиперкуба в сетевой инфраструктуре суперкомпьютеров по-прежнему актуально. В этой связи достаточно упомянуть одного из лидеров высокопроизводительных вычислений - американскую компанию SGI, исследования которой показали, что «с увеличением размеров кластеров преимущества гиперкубических топологий перед «All-to-All»- и «Fat Tree»-топологиями, требующими наличия внешних переключателей и значительного числа кабельных соединений, существенно возрастают» [22]. На это указывают и июньские (2016 г.) рейтинги Top-500, в которых установленный этой же фирмой в NASA обладающий гиперкубической топологией суперкомпьютер PLEIADES [21] занимает лидирующие позиции с 4.09 Pflop/s LINPACK и 132 Tflop/s HPCG: 15-е и 9-е места соответственно.
2. «Реберное» масштабирование вычислительной системы
2.1. ОБЩЕЕ ПОНЯТИЕ О РЕБЕРНОМ МАСШТАБИРОВАНИИ
Общеизвестные понятия «горизонтального» и «вертикального» масштабирования вычислительной системы различаются способами повышения интегральной ее производительности: наращиванием числа составляющих систему процессорных элементов или их заменой более производительными. В отличие от этих понятий, введем понятие «реберного» масштабирования вычислительной системы, состоящее в таком наращивании числа ребер в графе ВС, при котором остаются неизменными не только множество вершин и подмножество ребер исходного графа ВС, но и те базовые его свойства, на которых основана используемая в системе маршрутизация. Учитывая, что сетевые топологии ВС за исключением звездной, как правило, являются регулярными, далее предполагаем, что реберное масштабирование ВС состоит в таком изменении степени ее графа, при котором характерные для изначальной топологии свойства и основанные на них функции маршрутизации могут быть лишь дополнены, сохраняя при этом свою суть. Напомним, что под функцией маршрутизации понимают [19] формализованное правило выбора промежуточных узлов на пути от узла-источника к узлу-получателю.
2.2. РЕБЕРНОЕ МАСШТАБИРОВАНИЕ ГИПЕРКУБИЧЕСКОЙ ВЫЧИСЛИТЕЛЬНОЙ СИСТЕМЫ
Оценим возможности и особенности осуществления реберного масштабирования на примере систем с гиперкубической топологией. Эта топология достаточно широко используется и не только благодаря известным достоинствам в части простоты ее технического и алгоритмического (в частности, маршрутизации) воплощения. Существует масса примеров того, что именно гиперкубическая информационная топология является наиболее приемлемой в распараллеливании задач [2], достаточно масштабных как по объемам обрабатываемых данных, так и по их вычислительной сложности. И если в реализуемых ранее суперкомпьютерах топология коммуникационной среды (в том числе
гиперкубическая) для заказчика не имела альтернативы (как, например, в машинах семейства nCUBE [4, 5]), то предоставляемые ныне фирмами-производителями средства позволяют заказчику самому воспроизвести в своих системах интерконнект с наиболее подходящей для его задач топологией. К примеру, архитектура RSC PetaStream компании РСК «предоставляет заказчикам большую гибкость выбора типов интерконнекта и топологий создаваемой сети за счет возможности подключения различных карт расширения» [7]; суперкомпьютерная архитектура компании «Т-Платформы» также «позволяет заказчикам реализовать практически любую сетевую топологию» [18], в том числе и гиперкубическую. Добавим к этому, что заказчики суперкомпьютерных систем, как правило, изначально ориентированы на последующее поэтапное наращивание суммарной вычислительной мощности, поэтому производители снабжают первично поставляемую конфигурацию ВС избыточным числом незадействованных в ней портов или предоставляют возможности последующего дооснащения конфигурации необходимым для выбранной топологии числом сетевых адаптеров. Таким образом, возможности реберного наращивания топологии ВС необходимую конструктивную базу, как правило, имеют.
Не оценивая пока что осуществимость реберного масштабирования в гиперкубе с позиции сохранения в нем функции маршрутизации, определяющей путь от источника к получателю через сопоставление двоичных кодов их адресов, рассмотрим возможные варианты такого масштабирования.
Итак, рассмотрим реберное масштабирование 5-мерного гиперкуба Н5, 5 > 2. Порядок п исходного гиперкуба п(Н5) = 25, диаметр й равен его степени й(Н5) = 5. Выделим в гиперкубе Н5 подкуб Нк, где 2 < к < 5. Степень к-мерного куба Нк увеличим на единицу, попарно соединив вершины, находящиеся на наибольшем в нем расстоянии к. Аналогично поступим и с остальными 25-к - 1 такими же к-мерными подкубами, составляющими в совокупности 5-мерный гиперкуб Н5. Обозначим полученный в результате такого масштабирования граф как Нк5+1. Заметим, что число добавленных при этом ребер ВД^О - ВД) = |Е(Нк,5+1)| - |Е(Н)| = 2к-1-Гк = Г1, т.е. вне зависимости от выбора базового для масштабирования гиперкубиче-
ского фрагмента Нк в 5-мерном гиперкубе Н5 это число является неизменным. Диаметр ¿(Н^+х) полученного при этом графа Нк5+1 определится выражением
¿(Н^+О = Гк/21 + 5 - к = 5 - \_т\ и уменьшается с возрастанием к вплоть до к = 5, - в этом случае диаметр и приобретает минимальное значение: ¿(Н,,^) = 5 - \_к/2\ = Ы21.
Оценка изменения ширины бисекции Б(Н5+1) такого графа от к показывает, что 2< к < 5 ^ Б(Н5+1) = Б(Н5) = п(Нь)/2 = 25-1, однако при к = 5 ширина бисекции увеличивается вдвое, до равного порядку п(Н5) предельного значения: к = 5 ^ Б(Нх+1) = п(Н) = 25.
Таким образом, максимальный с позиции коммуникаций эффект от реберного масштабирования 5-мерного гиперкуба Н5 - наибольшая ширина бисекции при наименьшем диаметре и при одинаковых дополнительных расходах на интерконнект -может быть достигнут только при к = 5, т.е. при попарном соединении вершин с равными значению 5 кодовыми расстояниями между ними. Естественно поэтому, что дальнейшему рассмотрению в данной работе подлежит именно этот, обладающий максимальной коммуникационной эффективностью, случай реберного масштабирования гиперкубической ВС.
В соответствии с данным в подразделе 2.1. определением, используемые в исходной гиперкубической ВС принципы маршрутизации и их программно-алгоритмическое воплощение существенных изменений вследствие реберного наращивания претерпеть не должны. Основой маршрутизации в гиперкубических ВС является принцип двоичного кодирования узлов, заключающийся в тождественности межузловых и межкодовых расстояний, когда коды любой пары смежных узлов отличаются только одним битом [19]. Сохранение этого свойства при реберном масштабировании гиперкубической ВС позволит использовать в ней те же принципы и программно-алгоритмические средства маршрутизации, что и в исходной гиперкубической системе. Предложенный ниже способ бинарного (двухкомпо-нентного) кодирования вершин реберно масштабированного гиперкуба соответствует этому требованию.
Итак, подвергнем реберному масштабированию 5-мерный гиперкуб Hs. Для этого увеличим до s + 1 разрядность двоичного адреса его вершин, добавив к нему нулевой разряд слева, и назовем такую адресацию прямой. Введем альтернативную прямой адресацию вершин, проинвертировав все биты прямого адреса и назвав этот адрес обратным. Так как старший бит прямого адреса всегда будет нулевым, то единичное его состояние является отличительным признаком обратного адреса. Обозначения прямого X и обратного X адресов вершины x в гиперкубе Hs+1 различаем по отсутствию и наличию знака инверсии над ними. Из определения этих адресов ясно, что кодовое расстояние между прямым и обратным адресом одной и той же вершины - d (X, X) = s +1. Известно, что любой, произвольно взятой в s-мерном гиперкубе, вершине x может быть поставлена в соответствие единственная вершина xs, отстоящая от нее на расстоянии d(x-xs) = s. То же самое справедливо и для хем-минговых расстояний между кодами адресов таких вершин:
d(X, Xs) = d(X, Xs) = s . Учитывая это, получим
d(X, X ) = d(X, X) - d(X, Xs) = s +1 - s = 1, иначе говоря,
(d(X, Xs) = d(X, X) = s) ^ (d(X, Xs) = d(X, Xs) = 1). Попарно соединив вершины, для которых хэмминговы расстояния между кодами прямых (или обратных) адресов вершин в Hs равны числу измерений s, получим реберно масштабированный гиперкуб Hs+j, в котором смежность вершин a и b задана условием
d (a - b) = 1 (d (A, B) = 1) v d (A, B) = 1.
Учитывая, что отношения смежности на множестве всех вершин рассматриваемого графа полностью определены отношениями соседства кодов их адресов, расстояние d(a-b) между любыми двумя вершинами реберно масштабированного гиперкуба Hs+1 определится минимальным из кодовых расстояний между прямыми/обратными их адресами в любом их сочетании:
d(a, b) = min {d(A, B), d(A, B)} = min {d(A, B), d(A, B)}.
Продемонстрируем вышесказанное на примере изображенного на рис. 1 реберно масштабированного 4-мерного гиперкуба H4+1. Вершины в нем сохраняют соответствующие исходному
4Б-кубу Н4 пометки; для удобства перевода в двоичную кодировку дадим их в восьмеричной системе. Соответствие прямого X и обратного X кодов адресов вершин этим пометкам дано в представленной ниже таблице 1:
----- -А
N. \ N
. **
'--»- -
I \ ~-
- - ■
" - ~ - — ^ ^ ~ "
17
13
4
0
Рис. 1. Реберно масштабированный 4-мерный гиперкуб Н4+1
Таблица 1. Соответствие прямых X и обратных X адресов вершин х в гиперкубе Н4+1
х X X х X X
0 00000 11111 10 01000 10111
1 00001 11110 11 01001 10110
2 00010 11101 12 01010 10101
3 00011 11100 13 01011 10100
4 00100 11011 14 01100 10011
5 00101 11010 15 01101 10010
6 00110 11001 16 01110 10001
7 00111 11000 17 01111 10000
Для взятых в этом графе вершин а = 5 и Ь = 16 получим А = 00101, В = 01110 и А = 11010, В = 10001. Как видим, расстояние Хэмминга между отнесенными к вершине прямым и обратным кодами ее адресов не зависит от выбора вершины и равно увеличенному на единицу числу измерений 5: ¿(00101, 11010) = 5 и ¿(01110, 10001) = 5. Тождественность
межузловых и межкодовых расстояний в Н5+1 й(аа - Ь) = й(А, В) = й(А, В) видна из й(5-16) =
= й(00101, 01110) = (11010, 10001) = 3. Коды смежных в Н4 вершин 5 и 7 (й(5 - 7) = 1) являются соседними хоть в прямой (й(00101, 00111) = 1), хоть в обратной (й(11010, 11000) = 1) их кодировке. Хэммингово расстояние между кодами адресов максимально разнесенных в гиперкубе Н4 друг от друга вершин а = 5, а4 = 12 с расстоянием й(5-12) = 4 между ними тождественны этому расстоянию: й(А, А4) = й(00101, 01010) = 4 и й(А,А4) = й(11010, 10101). При этом хэммингово расстояние между прямым адресом А вершины а = 5 и инвертированным адресом А максимально удаленной от нее вершины а4 = 12
равно единице: й(А, А) = ¿(ООЩОТШ) = й(00101, 10101) = 1. Таким образом, соседство1 прямого кода одной вершины и обратного кода другой указывает на смежность вершин в графе Н4+1. Расстояние между вершинами а = 5 и Ь = 16 в Н4+1 -й(5, 16) = тт(й(00101, 01110), й(00101, 10001) = тт(3, 2) = 2. В 7Б-кубе Н7+ь например, для а = 5 и Ь = 132 получим:
А = 00000101, В = 01011010; А = 1111101С, В = 10100101 и й(5, 132) = тт(й(00000101, 01011010), й(00000101, 10100101) = = тт(6, 2) = 2.
Итак, реберное масштабирование ВС с гиперкубической топологией существенно улучшает общепринятые в сопоставлении топологий сетевые показатели:
- диаметр уменьшается вдвое: й(Н5+{) = й(Н5)/2;
- ширина бисекции увеличивается вдвое: В(Н5+{) = 2В(Н5). При этом, как показано выше, принцип тождественности расстояний между вершинами реберно масштабированного гиперкуба и кодовых расстояний между их адресами сохраняется, а следовательно, сохраняется возможность использования основанных на этом принципе алгоритмов маршрутизации.
1 Кодовые слова с единичным расстоянием между ними называют соседними.
Отметим также, что заказчики суперкомпьютерных систем, как правило, изначально ориентированы на поэтапное наращивание суммарной вычислительной мощности, поэтому производители систем с фиксированными топологиями (как, например, «CUBE ) снабжают первично поставляемую конфигурацию ВС избыточным числом незадействованных в ней портов [3, 5]. Для систем же, топологии которых могут конфигурироваться заказчиками, такие производители, как российские РСК [7] и Т-Платформы [18], предоставляют возможность последующего дооснащения первоначально поставляемой конфигурации необходимым для создания выбранной заказчиком топологии числом сетевых адаптеров. Таким образом, и в том, и в другом случаях реберное масштабирование конструктивно вполне осуществимо и не требует характерных для традиционного масштабирования затрат на наращивание в системе числа процессоров.
3. Топологическая масштабируемость реберно модифицируемой гиперкубической ВС
3.1. БАЗОВЫЕ ПОСТАНОВКИ И ОПРЕДЕЛЕНИЯ
Постановка задачи распараллеливания алгоритмов с учетом допускаемой достижимости информационно связанных процессоров впервые предложена и использована автором для оценки отказоустойчивости вычислительных систем [15]. Дальнейшее развитие эта постановка получила в работе [8], где был предложен аналитический подход к синтезу регулярных графов с заданными значениями порядка, степени и обхвата, а также в [10], где была поставлена и решена задача синтеза регулярных структур ВС, обладающих при этом минимальными задержками, и в [9], где рассмотрена проблема выявления в графе вычислительной системы компонент, соответствующих размещаемой подсистеме в отношении достижимости и соединимости ее вершин и предложен аналитический метод ее решения, основанный, как и все перечисленные здесь работы, на проективном описании графа вычислительной системы [13, 14]. Развернутое обоснование, основанное на предложенной модели параллельных вычислений, эта постановка впервые получила в [11].
В связи с тем, что полная связность всех процессоров системы при неограниченном ее масштабировании реализована быть не может, а условие физической смежности задействованных в параллельной задаче процессоров не всегда может быть реализовано даже при малом их числе, в [9] информационную модель ВС предложено представлять графами д-достижимости, отношения смежности вершин в которых удовлетворяют допускаемым размещаемыми подсистемами требованиям в части предельно допускаемых расстояний д между ними. Максимальное по включению подмножество вершин графа д-достижимости Gд, связанных между собой отношениями д-достижимости, порождает в нем клику К(Од), (д-клику Кд(0) графа G системы), множество вершин которой объединяет в себе подмножество всех основных вершин глобальной д-компоненты этого графа и подмножество вспомогательных вершин, входящих в состав д-путей между основными вершинами лишь в качестве промежуточных и не принадлежащих клике К(Од). Подобно плотности ф(О) графа G, определяемой порядком его наибольшей клики [9], порядок наибольшей из максимальных д-клик графа 0(У, Е) называем плотностью ф(Од) графа д-достижимости, или д-плотностью фд(0) графа G(V, Е): ф(Од) = фд(^).
Пусть проблемная ориентация гиперкубической ВС с используемой ею ЫТ определена перечнем распараллеливаемых пользовательских приложений, каждое из которых отвечает условиям неограниченной распараллеливаемости [1], т.е. не содержит скалярных фрагментов и характеризуется объемами (или диапазонами изменения) Ж и Q вычислительных и обменных операций, равномерно распределяемыми между процессорами подсистемы в зависимости от числа параллельных вет-вейр. Согласно предложенной в [11] модели существуют предельные значения допускаемых для каждой из этих задач достижимостей д, и все решаемые в исследуемой ВС пользовательские задачи могут быть классифицированы в соответствии с этими значениями д. Тогда выбор топологии, адекватной решаемым в исследуемой системе задачам, может быть обоснован анализом функций д-плотности сопоставляемых топологий на
(1) % (Н,) =
соответствующем этим задачам диапазоне дтт < д < дтах изменения достижимостей.
В работе [12] проведено исследование и определена формальная зависимость порядка пд(Н5) максимальной по включению д-компоненты 5-мерного гиперкуба Н5, или, что равнозначно, д-плотности фд(Н5) = пд(Н5), от предельно допускаемых задачами расстояний д < 5 между информационно-смежными в этих задачах процессорами:
(1) пРи четн. д,
(в - М, Х^А]/ ^ Я
1|_д/2]) + Х,=0 (г) при нечетн. д.
В следующем подразделе получим такую зависимость для реберно масштабированного гиперкуба Н5+1.
3.2. АНАЛИЗ д-ПЛОТНОСТИ РЕБЕРНО МОДИФИЦИРОВАННОГО ГИПЕРКУБА
Исследование формальной зависимости д-плотности фд(Н5+1) осуществим исходя из анализа расстояний между кодами двоичных адресов вершин исходного гиперкуба Н5. Как известно, расстояние а - Ь) между произвольно взятыми в гиперкубе вершинами а Ф Ь равно кодовому расстоянию А, В) между двоичными кодами адресов А, В этих вершин. Для удобства изложения далее мы сохраняем соответствие восьмеричной нумерации вершин двоичному кодированию их прямых адресов (с добавленным нулевым старшим разрядом).
Итак, вершины Н5+1, как и вершины исходного гиперкуба Н5 с Н5+1, являющегося остовным1 подграфом Н5+\, пронумерованы в восьмеричной системе от 0 до 25 - 1, и смежным в Н5 вершинам соответствуют соседние в двоичной кодировке прямые в Н5+1 адреса, причем нулевой вершине а0 соответствуют нулевой прямой адрес А0, все 5 + 1 разрядов которого - нулевые
(вес его двоичного кода - |А0| = 0), и обратный адрес А , все
1 Множества вершин этих графов совпадают.
s + 1 разрядов которого - единичные, с весом двоичного кода -
и=*+1.
Как известно, кодовое расстояние d(A, B) между двоичными кодами адресов A и B вершин а и b определяется их поразрядным сложением по модулю 2: d(A, B) = |A © B|.
Из свойства поразрядного сложения, согласно которому суммирование разряда c с единичным инвертирует значение
этого разряда - c ©1 = c , получим: B © A = B ,
A © B = A © B © A0 = A © B . Тогда | A © B |= * +1-1A © B |, и расстояние между вершинами a, b в графе Hs+1, полученном в результате реберной надстройки гиперкуба Hs, определится из: d(a - b) = min {d(A, B), * +1 - d(A, B)}.
Отсюда понятно, что расстояние между двумя произвольными вершинами a, b графа Hs+1 не превышает половины от s + 1 и определено на интервале от 1 до L(s + 1)/2_|: 1 < d (a - b) <L(* + 1)/2j,
что соответствует высказанному выше утверждению об уменьшенном диаметре графа Hs+1 в сравнении с диаметром d(Hs) = s.
Произведем оценку хэмминговых расстояний между кодами прямых адресов произвольной пары вершин а, Ф aj графа Hs+1, где индексы i, j при вершинах а,, а}- соответствуют весам AJ, \Aj\ двоичных кодов A, Aj прямых адресов этих вершин и указывают на их кодовые расстояния d(A0, A,), d(A0, Aj) от адреса A0 ракурсной вершины а0: i = |A,| = d(A0, A,), j = |Aj| = d(A0, Aj). Множества вершин с соответствующим индексам i, j числом единичных разрядов обозначим через A(i), A(j): A(i) = (аг | i = ^i|>, A(j) = {aj | j = Щ).
Пусть 0 < i < j < L(s + 1)/2j, и X(1) < i единичных разрядов Ai совпадают с разрядами Aj. Тогда кодовое расстояние между Ai и Aj в зависимости от Х(1) составит (2) d(Ai, Aj) = (i - X(d ) + (j - X(d ) = (i + j) - 2x(1.
В соответствии с (2), минимальным на множестве пар вершин {аг- е A(i), aj е A(j)> кодовое расстояние будет при Х(1) = i: dmm(Ai, Aj) = (i + j) - 2i = j - i, а максимальное кодовое расстоя-
ние соответствует максимальному несовпадению (х^) = 0) этих адресов, при этом dmax(Ai, А/) = I + /.
Учитывая, что й(А,В) = в +1 - й(А,В), из (2) получим:
й(А,, А) = в +1 - й(А,, В]) = (в +1) - (г + ]) + 2хт .
Так как расстояние d(ai-a/) между вершинами ai е А^'), а}- е А(/) в графе Н5+1 определяется минимумом из расстояний d(Ai, А/) и 5 + 1 - d(Ai, А/), определим предельные значения i, /, при которых попарные расстояние между вершинами из соответствующих множеств А^'), А(/) не превысят заданного значения достижимости д. Это соответствует условиям
(3) 0' + /'(д))) - 2х(1) < д или
(4) (5 + 1) - 0' + /'(д)) + 2х(1) < д.
Множество Кд(Н5+1) взаимно д-достижимых в графе Н5+1 вершин состоит из двух соответствующих неравенствам (3), (4) подмножеств: из заданного в (3) подмножества У'д(Н5+1) вершин, расстояния между которыми определены кодовыми расстояниями между их прямыми адресами, и из заданного в (4) подмножества вершин У"д(Н5+\), расстояния которых от вершин из Рд(Н5+1) определены кодовыми расстояниями обратных адресов вершин из У"д(Н6.+1) от прямых адресов вершин из У'(д), при том что расстояния между вершинами внутри У"д(Н5+{) равны кодовым расстояниям между их прямыми или обратными адресами. Учитывая существенное отличие кодовых расстояний / = |А/| прямых адресов вершин из подмножеств У'д(Н5+1) и из У'^Н^) от А0, значения / в (3), (4) проиндексированы соответственно. Понятно, что на интервале /'(д) </ </"(д) расстояния d(ai-a/) > д, поэтому ни одна вершина подмножеств К(/)|/'(д) </ </''(д) не может входить ни в У'д(Н5+\), ни в У"д(Н5+\) и, соответственно, не может быть включена в число вершин, определяющих искомый нами порядок д-клики (д-плотность (рд(Н5+\)).
Из (3) имеем i + /'(д) < д + 2х(1). Так как это неравенство должно быть справедливым для любого i </'(д), то, подставив максимальное значение i = /'(д), получим /'(д) < (д + 2х(1))/2. Понятно, что минимальным значение /'(д) будет при максимальном несовпадении разрядов в прямых адресах Аг-, А/ вершин
а7 е А (7), ц е А(/'(д)), что соответствует х^) = 0, поэтому окончательно рассматриваемое условие при д < _(. + 1)/2_ имеет вид (5) /(д) <_д/ 2_<_(/ +1)/4_.
В соответствии с (5) и с формулой д-плотности гиперкуба И. (1) получим мощность подмножества К'д(Н+1):
X Го (1) пРи четн. д,
(я -1\, лтЧдД]/ А
(_д/2 _) + Х_=о (I) при нечетн. д.
В отличие от (3) условие (4) отнесено к вершинам, коды прямых адресов А/ которых содержат большее, чем _д/2_ число единичных разрядов (|А/ | > _д/2_|), и область допустимых при заданной достижимости д значений /2(д) < / < . будет отличной от 0 </ </'(д). Учитывая, что максимум полученного из (4) /" > . + 1 - 7 + 2х(1) - д соответствует х^) = 7 и максимальному из 7 </'(д) значению 7 = /'(д) = _д/2_, получим ]" > . + 1 - Гд/2~|. Однако, исходя из того, что d(Ао, Ао) = 1, получим /" > . -
- Гд/21 = . + 1 - _д/2_. Из условий /" > . + 1 - Гд/2] и /" > . + 1 -
- _д/2_ выбираем более жесткое: / '' > . + 1 - _д/2_.
Тогда для |^''д(И.+1)| имеем:
V "д (н,+1 )| =
X д=0-1(1) пРи четн. д,
Л=0
I 1 -1 Х^^Н/ /Л я
(|_д/2_|- 1) + Х _=о (I) при нечегн. д.
Сумма |Рд(Н+1)| и |К''д(И.+1)| для анализируемого реберно масштабированного гиперкуба И.+1 определяет порядок компоненты д-достижимости этого графа, или искомую его д-плотность:
<д (Н(/+Ч) =| V (Н(/+!))|=| Гд'(Н(/+ц) | + | К(Н(/+1)) I.
Исходя из этого для четных значений д получим:
Выше мы показали, что при д > _(. + 1)/2_ все вершины И.+1 входят в состав его д-клики, и его д-плотность <рд(И+])=2.
рв (н(х+Г))=х !!2 (■ )+Е ! Г( 1
а для нечетных -
р ^) = (|_а/2])+1Ч (■)+([а/ ¿]-1)+2 Ч1 (?) •
Используя общеизвестное для биномиальных коэффициен-
тов соотношение
^ +1
('+Н -1)+( 1) ■
для четных д получим
е:: (1 )+Е:: (, - (1+|
Выполнив аналогичные действия для нечетных значений достижимости д, получим результирующую формулу д-плотности реберно масштабированного графа И5+1 при д < [(5 + 1)/2| и 5 > 2; в иных случаях - при д > [(5 + 1)/2| <Рд(Н+1) = 25, а при 5 = 2 <р[(И2+1) = 4:
211 + 1 i=:(
1 . I1 + ?
(6) Рд( Н+1 ) =
Ед/ 2( 1 +1\ -,=: ( i ) при четн. д,
([д/2_|) + 2<=: ( i ) при нечетн. д
Таким образом, д-плотность реберно масштабированного гиперкуба определяется так же, как и д-плотность исходного гиперкуба, но с увеличенным на единицу значением степени 5 При этом интервал значений достижимости 0 < д < [(5 + 1)/2| в реберно масштабированном гиперкубе в сравнении с интервалом 0 < д < 5 в исходном гиперкубе существенно сужен На представленных в следующем разделе графических примерах будет показано, что это означает, что если для гиперкуба И5 линейный рост производительности системы может быть обеспечен только на задачах с достижимостью д > 5, то после его реберной модификации к подмножеству линейно ускоряемых из набора решаемых в данной системе задач добавляются те из них, для которых Пу/2~| < д < 5, и таким образом число высокоэффективно решаемых в данной системе задач существенно возрастает.
3.3. МАСШТАБИРУЕМОСТЬ РЕБЕРНО МОДИФИЦИРОВАННОГО ГИПЕРКУБА
Как мы уже говорили ранее, каждая из решаемых в исследуемой ВС (Ж, 0-задач с учетом параметров используемой в системе ЫТ может быть классифицирована по значениям достижимости д(р), обеспечивающими при распараллеливании этой задачи на заданное число р процессоров системы требуемые значения ускорения 8р и/или эффективности Ер [16]. Поэтому далее мы считаем, что набор задач, решаемых в рассматриваемой системе с определенной сетевой технологией, распределен по значениям предельно допустимой для них достижимости д > 1.
В [11, 16] показано, что при решении набора задач усредненное изменение пределов их распараллеливания более выигрышно в системах с большими значениями д-плотности их графов. Поэтому вполне оправданным является использование д-плотности в качественной (больше/меньше - лучше/хуже) характеристике графов ВС и в сопоставительном их анализе не только для информационно полносвязных, но и для других классифицированных по значению д задач из набора, кроме тех из них, информационные топологии которых адекватны топологии системы. Таковыми для гиперкубических ВС, например, являются задачи с кольцевой, линейной и гиперкубической топологиями. Топологически адекватные системе задачи могут быть распараллелены на все п(О) ее процессоров даже при д = 1, а системы, ориентированные на решение таких задач, являются специализированными. Топологическая специализация системы под некоторый достаточно ограниченный набор решаемых задач является одним из способов повышения эффективности суммарного использования всех ее процессоров, однако она (специализация) ограничивает число потенциальных пользователей системы. Анализ представленных ниже графиков и основанные на нем выводы имеют целью топологическую характеристику гиперкубической ВС как системы универсального назначения.
Анализ функций д-плотности гиперкуба приведен в [16], поэтому на характерных особенностях этих функций останавливаться здесь мы не будем и дадим графическое их сопоставле-
ние (см. рис. 2) с функциями д-плотности предложенного нами реберно масштабированного гиперкуба. Из этого рисунка ясно, что с ростом числа измерений . реберно масштабированного гиперкуба функция д-плотности растет линейно (рд(И.+\) = 2х) пока . < 2д. Последующее наращивание . > 2д + 1 приводит к резкому падению д-плотности реберно модифицированного гиперкуба от значения ррЩ^х) = 2S при . = 2д до значения д-плотности рд(И(.+!)), характерного для масштабированного гиперкуба с числом измерений, превышающим значение аргумента . на единицу: . > 2й ^ <рд(И.+1) = рд(И(.+1:1); здесь, в отличие от И.+1, ограниченный скобками индекс в И(.+1) определяет обычный гиперкуб с числом измерений равным (. + 1).
<Рз(Н)
О 1 2 3 4 5 6 7 8 9101112 13 14 151617
Рис. 2. Функции д-плотности <рд(И): гиперкуба И. (штриховые линии) и реберно масштабированного гиперкуба И.+1 (сплошные линии);
Г-д = 2, А-д = 5, С-д = 8
Это означает, что, несмотря на падение д-плотности реберно масштабированного гиперкуба при . > 2д, ее значение все равно будет большим, чем для обычного .-куба на величину, соответствующую увеличенному на единицу значению ..
В таблицу 2 сведена часть исходных для построения рис. 2 расчетных данных, достаточная лишь для численной иллюстрации вышесказанного.
Таблица 2. Значения функций д-плотности: гиперкуба -
<Рз(И6) и реберно масштабированного гиперкуба - И6.+1
Рд(И) И. И.+1
9 10 11 9 + 1 10 + 1 11 + 1
1 2 2 2 2 2 2
2 10 11 12 11 12 13
3 18 20 22 20 22 24
4 46 56 67 56 67 79
5 74 92 112 512 1024 134
6 130 176 232 512 1024 2048
7 186 260 352 512 1024 2048
8 256 386 562 512 1024 2048
9 512 512 772 512 1024 2048
10 512 1024 1024 512 1024 2048
Например, в гиперкубе И9 с числом процессоров п(И9) = 512 при д = 5 имеем плотность р(И10) = 92 - заметим, что этот случай с . = 9, д = 5 соответствует условию д > Г./21. Масштабирование гиперкуба И9 до И10 увеличивает число процессоров вдвое до п(И10) = 1024, но повышает его д-плотность всего лишь до Р5(Н10) = 112, тогда как реберное модифицирование этого же гиперкуба до Н9+1, не требуя при этом увеличения числа процессоров, - п(И9+1) = п(И9) = 512, повышает д-плотность до максимально возможного значения р(И9+1) = п(И9) = 512. В случае с д = 4 . = 9, когда условие д > Гл/21 не выполняется, масштабирование числа процессоров с п(И9) = 512 до п(И10) = 1024 повышает плотность с р4(И9) = 46 до р4(И10) = 56, тогда как реберное масштабирование И9 ^ И9+1 повышает плотность до этого же значения р4(И9+1) = р4(И10) = 56 без наращивания числа процес-
соров в системе, а увеличением только числа ребер. Аналогичную картину можно увидеть из таблицы 2 для задач с д = 2 < Г./21 при масштабировании гиперкуба И10: рИ^) = 11, Рр(И\\) = 12, р,(И10+1) = <р(Ии) = 12.
Таким образом, если набор решаемых в .-мерной гиперкубической ВС задач определен соответствующим используемой ЫТ интервалом изменения достижимости дтт < д < дтах, то при реберном масштабировании этой ВС часть задач набора, для которых Г./2~| < д < дтах, в потенциале покажут линейный рост производительности вплоть до максимального их распараллеливания на р = 2S процессоров. Заметим, что в традиционном гиперкубе такой рост мог бы быть обеспечен лишь на задачах с х < д, что существенно сужает число таких задач и предъявляет значительно более жесткие требования к производительности используемой в системе ЫТ.
Итак, несмотря на то, что в наихудшем случае распараллеливания задач с дтт < д < Г./2| линейного роста эффективности при реберном масштабировании гиперкубической ВС добиться не удастся, потенциал эффективного распараллеливания задач в такой ВС все же превышает потенциал обычной гиперкубической ВС: такого же в численном выражении эффекта можно достигнуть увеличением числа ее процессоров вдвое, т.е. при пропорционально большей цене. Чтобы убедиться в этом, сопоставим стоимости реберного и традиционного масштабирования .-мерной гиперкубической ВС.
Обычное масштабирование наряду с двойным увеличением числа процессоров от 2 до 2(х+1) требует более чем двойного увеличения числа ребер Е в графе И(.+Г) от Е(И.) = 2^/2 = до Е(И(.+1)) = 2(.+1)(х + 1)/2 = (. + 1)2х. Реберное масштабирование графа И. при неизменном числе процессоров в нем увеличивает число ребер от Е(И.) = до Е(И.+1) = + 1)/2 = (. + 1)2х+1, т.е. всего в (1 + я"1) раза.
Таким образом, понятно, что даже в наихудшем случае использования недостаточно быстродействующей для набора решаемых задач ЫТ получение одинакового ускорения в гиперкубической ВС достигается практически вдвое дешевле реберным ее масштабированием, чем традиционным. Для задач же с
д > Г./21 потенциал распараллеливания в реберно масштабированной гиперкубической ВС максимален и ограничен лишь числом имеющихся в ее составе процессоров.
В том, что реберное, в сравнении с традиционным, масштабирование гиперкуба позволяет добиться существенно большего приращения числа эффективно используемых в решении данной задачи процессоров при условии Г./21 < д < ., можно убедиться и из рис. 3, сопоставляющего графики функций плотности гиперкубов И9, И\0 и Иц и их реберно масштабированных модификаций И9+1, И10+1 и Иц+1, отнесенные к параллельным задачам, классифицированным по значению предельно допускаемой между их ветвями достижимости д.
1 -1-1-1-1-1-1-1-1-1-1-1 д(Н)
1 2 3 4 5 6 7 8 9 10 1 1 12
Рис. 3. Функции д-плотности рд(И): гиперкуба И. (штриховые линии) и реберно масштабированного гиперкуба И..+1 (сплошные линии);
Г-5 = 9, А 5 = 10, О- 5 = 11
Функция топологической масштабируемости ^д(О) системы определена в [11] нормированной порядком п^) ее графа д-плотностью фз(^): /ид(0) = фд(0)/п(0). Учитывая, что предельные значения достижимостей д в системе обусловлены предписанными ей задачами и используемой сетевой технологией,
функция топологической масштабируемости системы характеризует изменение потенциала в распараллеливании предписанных ей задач при изменении порядка п графа Оп системы (в нашем случае Оп = И. и п(И.) = 2х, поэтому в качестве аргумента удобней использовать число измерений . исходного гиперкуба И.). Приведенный ниже рис. 4 позволяет графически сопоставить функции топологической масштабируемости исходного <Рд(И.) и реберно масштабированного гиперкуба <рд(И.+1) на классифицированных по значениям д задачах.
мт
1 2 3 4 5 6 7 8 9 1011 12 13 14 151617
Рис. 4. Функции масштабируемости /и8(И): Цд(И.) - гиперкуба (штриховые линии), из(И+]) - реберно масшт. гиперкуба (сплошные линии). п-д = 2. Л-д = 5. а-д = 8 Из рис. 4 видно, что при традиционном наращивании гиперкубической ВС функция ее топологической масштабируемости на задачах д-класса имеет максимальное, равное единице, значение, пока . < д. Увеличение числа измерений гиперкуба на единицу сверх д до . = д + 1 удваивает число процессоров в системе, но предел распараллеливания д-задач при этом сохраняется на прежнем уровне, и это соответствует вдвое меньшему
значению функции топологической масштабируемости: ^д(И(5+1)) = 0,5. Последующее увеличение . до значений . > д + х, х > 0 приводит к незначительному, в сравнении с увеличивающимся при этом числом процессоров, росту функции 5-плотности фа(И.) и, соответственно, к монотонному убыванию функции топологической масштабируемости /ид(И6):
(. = 5 + х, х > 0) ^ из(И(з+х+1)) < из(И(з+х}).
Сочетание традиционного масштабирования гиперкубической ВС с реберным ее масштабированием сохраняет равное единице значение функции топологической масштабируемости уже до . = 25, тем самым в два раза расширяя границы эффективного масштабирования задач с соответствующим используемой в системе ЫТ значением предельной достижимости 5. Несмотря на то, что при последующем (. > 25 + х, х > 0) масштабировании гиперкубической ВС происходит резкое падение функций ее топологической масштабируемости, значение функции из(И(2з+х)+1) реберно масштабированной ВС со степенью . = 25 + х все равно будет превышать значение из(И(2з+х)):
(. = 25 + х, х > 0) ^ из(И(25+х)+1) > иэ(И(25+х)). 4. Заключение
Наращивание числа процессорных элементов преследует, как правило, одну или сразу обе цели: предотвращение коллизий, возникающих в связи с дефицитным суммарным потенциалом текущей конфигурации ВС, недостаточным для удовлетворения совмещенных во времени возрастающих потребностей множества пользователей и их задач, и/или увеличение потенциала масштабирования задач для повышения оперативности их решения в данной системе. Предложен подход к исследованию названного в работе реберным масштабированием способа достижения второй из этих целей без дорогостоящего увеличения числа процессорных элементов: наращиванием числа ребер исходной топологии, не требующим перекоммутации имеющихся межпроцессорных связей и изменения соответствующих
исходной топологии системы способов адресации и маршрутизации.
Даны общее описание предложенного подхода и его конкретизация для вычислительных систем с гиперкубической топологией. Показано, что традиционно используемые в сопоставлении коммуникационных возможностей сетей связи показатели - ширина бисекции сети и ее диаметр, в сравнении гиперкубической топологии с ее реберно модифицированным вариантом свидетельствуют об удвоенном преимуществе последнего. Это побудило к поиску возможности сохранения в этом варианте способов адресации и маршрутизации, свойственных исходной гиперкубической топологии. Исследовано влияние предложенных в работе изменений гиперкубической ВС на потенциалы распараллеливаемости в ней задач, классифицированных по лимитированной в них достижимости.
Традиционная для гиперкуба адресация вершин, в которой расстояния между его вершинами равны кодовым расстояниям между их адресами, для реберно масштабированного гиперкуба дополнена инверсной (обратной) адресацией, основанной на этом же принципе. Показано, что увеличение при этом разрядности адресного слова на единицу позволяет дополнить гиперкуб ребрами между наиболее удаленными в нем вершинами, получив тем самым единичное расстояние между такими вершинами, соответствующее единичному кодовому расстоянию между прямым адресом одной из них и обратным адресом другой. Это позволяет использовать в модифицированной таким образом системе те же алгоритмы маршрутизации, что и в исходной.
Получена формула д-плотности реберно масштабированного гиперкуба, показано, что ее значение определяется так же, как и д-плотность исходного гиперкуба, но с увеличенным на единицу значением его степени .. Это указывает на то, что на задачах, лимитированных достижимостью 0 < д < _(. + 1)/2_|, эффект от реберного масштабирования (без удвоения числа процессоров) равнозначен эффекту, который был бы получен при увеличении . на единицу (при удвоении числа процессоров). Кроме того, в реберно масштабированном гиперкубе ин-
тервал 0 < д < _(. + 1)/2] значений лимитируемых задачами достижимостей д существенно уже интервала 0 < д < . в исходном гиперкубе. Это означает, что в отличие от исходной гиперкубической ВС, где предельному распараллеливанию вплоть до п = 2S могут быть подвергнуты только задачи с д > в реберно масштабированной ВС круг предельно распараллеливаемых задач может быть существенно расширен за счет задач с вдвое меньшими значениями предельно допускаемой достижимости д > Г./21. Этим же интервалам достижимости д соответствуют и области эффективного масштабирования и реберного масштабирования гиперкубических ВС, что подтверждено в данной работе соответствующими графиками функций их Э-плотности и масштабируемости.
Следует заметить, что, в принципе, реберному масштабированию может быть подвергнут не весь .-мерный гиперкуб, а его к-мерные (к < .) фрагменты. Это, как показано в подразделе 2.2, несколько увеличивает диаметр результирующего графа и уменьшает ширину его бисекции. Однако очевидно, что при использовании в ВС недостаточно быстродействующей ЫТ, обусловливающей для решаемых в системе задач малые значения допускаемой достижимости, уменьшение к может привести к повышению значений функции Э-плотности и функции масштабируемости системы именно для таких д, а следовательно, к увеличению потенциала распараллеливания системы на задачах с малыми значениями предельно допускаемой достижимости. Вероятно, в случаях, когда набор решаемых в некоторой системе задач и используемая в ней сетевая технология имеют достаточно широкий разброс предельных достижимостей, имеет смысл использовать для реберного масштабирования коммутатор, меняющий к в соответствии с потребностями (здесь речь идет о коммутации только дополняющих гиперкубическую ВС линках). Очевидно, что уменьшение при этом размера реберно масштабируемого к-куба положительно скажется и на отказоустойчивости системы, увеличивая число альтернативных маршрутов между вершинами. Однако это уже выходит за рамки поставленных в данной работе целей и требует самостоятельной проработки.
Литература
1. ВОЕВОДИН В В., ВОЕВОДИН В В. Параллельные вычисления. - СПб.: Изд-во БХВ-Петербург, 2002. - 599 с.
2. ГЕРГЕЛЬ В.П. Высокопроизводительные вычисления для многоядерных многопроцессорных систем. Учебное пособие. - Н.Новгород: Изд-во ННГУ им. Н.И. Лобачевского, 2010. - 421 с.
3. ДУБОВА Н. Суперкомпьютеры nCube // Открытые системы. - 1995. - №2. - С. 42-47.
4. КАРАВАЙ М.Ф., ПОДЛАЗОВ В С. Расширенный обобщенный гиперкуб как отказоустойчивая системная сеть для многопроцессорных систем // Сборник «Управление большими системами». - 2013. - Вып. 45. - С. 344-371.
5. КУЗЬМИНСКИЙ М. Гиперкубические метаморфозы // Computerworld Россия. - 1997. - №17-18. [Электронный ресурс]. - URL: http://www.osp.ru/cw/1997/17-18/20140/ (дата обращения: 25.05.2016).
6. МАКАГОН Д., СЫРОМЯТНИКОВ Е. Сети для суперкомпьютеров // Открытые системы. - 2011. - №7. - С. 1-8.
7. Массивно-параллельная архитектура RSC PetaStream [Электронный ресурс]. - URL: http://www.rscgroup.ru/ru/ our-solutions (дата обращения: 25.05.2016).
8. МЕЛЕНТЬЕВ В.А. Аналитический подход к синтезу регулярных графов с заданными значениями порядка, степени и обхвата // Прикладная дискретная математика. - 2010. -№2. - С. 74-86.
9. МЕЛЕНТЬЕВ В.А. Вложение подсистем, лимитирующих длину и число путей между вершинами графа вычислительной системы // Сборник «Управление большими системами». - 2014. - Вып. 47. - С. 212-246.
10. МЕЛЕНТЬЕВ В.А. Компактные структуры вычислительных систем и их синтез // Сборник «Управление большими системами». - 2011. - Вып. 32. - С. 241-261.
11. МЕЛЕНТЬЕВ В.А. О топологической масштабируемости вычислительных систем // Сборник «Управление большими системами». - 2015. - Вып. 58. - С.115-143.
12. МЕЛЕНТЬЕВ В.А. Предельное конфигурирование подсистем в гиперкубических вычислительных системах // Информационные технологии и вычислительные системы. -2015. - №2. - С. 20-30.
13. МЕЛЕНТЬЕВ В.А. Скобочная форма описания графов и ее использование в структурных исследованиях живучих вычислительных систем // Автометрия. - 2000. - Т. 38, №. 4. -С. 36-52.
14. МЕЛЕНТЬЕВ В.А. Формальные основы скобочных образов в теории графов // Труды Второй Междунар. конф. Параллельные вычисления и задачи управления PACO. - 2004. -С.694-706
15. МЕЛЕНТЬЕВ В.А. Функция структурной отказоустойчивости и д-ограниченная компонента связности графа вычислительной системы // Прикладная дискретная математика. - 2008. - №2. - С. 102-106.
16. МЕЛЕНТЬЕВ В.А., ШУБИН В И., ЗАДОРОЖНЫЙ А.Ф. Топологическая масштабируемость гиперкубических параллельных систем и задач // ISJ Theoretical & Applied Science. - 2015. - №11(31). - С. 122-129.
17. ПОДЛАЗОВ В.С. Кросскольца - мультикольцевые коммутаторы с малым диаметром и их 1-1-перестраиваемость // Автоматика и телемеханика. - 2004. - №4. - С. 153-165.
18. Т-Платформы. Суперкомпьютерные решения [Электронный ресурс]. - URL: http://www.t-platforms.ru/products/hpc/ v-class.html (дата обращения: 25.05.2016).
19. ЦИЛЬКЕР Б.Я., ОРЛОВ С.А. Организация ЭВМ и систем: учебник для вузов. - СПб.: Питер, 2011. - 688 с.
20. AMDAHL G.M Validity of the single-processor approach to achieving large-scale computing capabilities // Proc. AFIPS Conference, Atlantic City, N.J., Apr. 18-20. - AFIPS Press, Reston, Va, 1967. - Vol. 30. - P. 483-485.
21. High-End Computing Capability. Pleiades Supercomputer [Электронный ресурс]. - URL: http://www.t-platforms.ru/ products/hpc/v-class.html (дата обращения: 22.08.2016).
22. SGI Altix ICE: Selecting the Most Effective InfiniBand Topology [Электронный ресурс]. - URL: http://www.silicon.hu/sites/ default/files/files/SGI ICE 8400 Infiniband topology.pdf (дата обращения: 22.08.2016).
23. TZENG N., WEI S. Enhanced hypercubes // IEEE Trans. Computers. - 1991. - Vol. 40, No. 3. - P. 284-294.
24. XUDING ZHU The Z-cubes: a hypercube variant with small diameter // Department of Mathematics, Zhejiang Normal University, China September 24, 2015. [Электронный ресурс]. -URL: http://arxiv.org/pdf/1509.06884v1.pdf (дата обращения: 22.08.2016).
EDGE SCALING OF COMPUTING SYSTEMS
Victor Melentiev, Rzhanov Institute of Semiconductor Physics Siberian Branch of RAS, Novosibirsk, Cand. Sc., senior research associate (melva@isp.nsc.ru).
Abstract: The problem we consider is how to increase a paralleliza-tion potential of tasks in a computing system not extending the number of its processor units. Our approach is to introduce additional links to initial system topology but preserve all existing links, addressing and routing policies. We provide a general formulation of the proposed approach and detailed description for systems with hypercube topology. In an edge scaled hypercube the conventional addressing scheme is enhanced by inverse addressing. We demonstrate that bisection bandwidth of the modified network is twice as high as of conventional hypercube and the diameter is twice as low. We obtain the scalability functions of a limit parallelization and a topological scalability on tasks with limited path length between branches. The proposed network modification can be applied to a limited k-dimensional fragment of the network with adaptive k selection. The impact on reliability of such systems will be covered in future research.
Keywords: hypercubic computing system, supercomputer, parallelism, topological scalability, edge scaling.
Статья представлена к публикации членом редакционной коллегии М.Ф. Караваем.
Поступила в редакцию 28.05.2016.
Опубликована 30.11.2016.
