CC BY
38
УДК 004.272.43
В.А. ДИКАРЕВ, д-р физ-мат. наук, проф. ХНУРЭ (г. Харьков),
В.Н. ЕВГРАФОВ
ПРОИЗВОДИТЕЛЬНОСТЬ БЕЗБУФЕРНЫХ МНОГОСТУПЕНЧАТЫХ СЕТЕЙ ПРИ НАЛИЧИИ «ГОРЯЧЕГО» ТРАФИКА
Багатоступеневі мережі використовуються для з’єднання процесорів та модулів пам’яті в мультипроцесорних системах в архітектурі загальної пам’яті. Розрахунки швидкодії подібних мереж раніше виконувались з припущенням рівномірного доступу до модулів пам’яті. Пріоритетні модулі пам’яті породжують нерівномірний трафік і, як наслідок, зменшення швидкодії мережі. В даній роботі розроблена аналітична модель для розрахунку швидкодії багатоступеневої мережі.
Multistage interconnection networks are used to connect processors to memories in shared memory multiprocessor systems. The performance evaluation of such networks is usually based on the assumption of uniform memory reference pattern. Hot spots in such networks give rise to non-uniform memory reference pattern and result in a degradation in performance. Analytical model for performance evaluation of multistage networks has been developed in this paper.
Постановка проблемы. Одним из ключевых факторов, определяющих производительность мультипроцессорной системы, является скорость обращения процессорных элементов к памяти. Механизм взаимодействия процессорных элементов и памяти реализуется, как правило, в виде многоступенчатой сети. Поэтому оценка производительности многоступенчатой сети (МС) до начала имплементации является важным этапом проектирования системы.
Процесс обращения к памяти имеет неоднородный характер. Модули памяти, которые подвержены обработке запросов с более высокой частотой, называются «горячими» модулями памяти.
Производительность сети измеряется пропускной способностью памяти (ПСП) сети. ПСП определяется как математическое ожидание количества активных модулей памяти в заданном такте
где д(Р) - вероятность того, что в модулей памяти активны в заданном такте. Приведем другое определение пропускной способности сети
N-1
N
(1)
J =0
где p(j) - уровень потока данных на j -м входном канале модуля памяти. Используя свойства сети, рассчитаем p(j) для всех модулей памяти. Полученные выражения позволят рассчитать ПСП для многоступенчатых сетей с любым количеством горячих модулей памяти.
Анализ литературы. Запрос двух или более процессоров к одному модулю памяти в рамках одного такта влечет за собой коллизию. В этом случае может быть обслужен только один из запросов. В результате наблюдается снижение производительности сети. Производительность безбуферных сетей для однородного трафика подробно описана в работах [1, 2, 3]. При расчете производительности МС, большинство авторов
предполагают равномерный доступ к памяти. Это означает, что пакеты направляются ко всем модулям памяти с равной вероятностью [4, 5, 6]. Однако такое предположение является неприемлемым для реальных систем, где трафик имеет неоднородный характер. В работе [7] описываются условия возникновения неоднородного трафика. Из результатов этой работы следует, что неоднородный трафик возникает в большинстве приложений. Анализ производительности безбуферной сети для единственного горячего модуля памяти был проведен в работе [8]. В работе [9] описаны свойства безбуферных многоступенчатых сетей для произвольного числа горячих модулей памяти, которые позволяют построить аналитическую модель производительности сети.
Цель статьи. Для расчета пропускной способности памяти при «горячем» трафике для произвольного числа модулей памяти необходимо рассмотреть уровень потока на каналах, имеющих общий и граничный статус. В данной статье производится расчет уровней потока данных для общих и граничных каналов.
Общие сведения. Уровень выходного потока данных переключающего элемента (ПЭ) может быть рассчитан, если известен уровень потока данных на входных каналах и вероятность переключения входящих пакетов на выходные каналы. Уровень потока данных на выходном канале y равен вероятности
того, что запрос будет отправлен на выходной канал ух:
Ро,о = Prtxo ^ У1] • Pr[xi ^ У1] + Pr[xo ^ У1] х
хPr[xi ^yo] + Pr[xi ^yi]• Pr[xo ^Уо],
где Pr[xu ^ yv] обозначает вероятность того, что пакет направляется из входного канала xu на выходной канал yv .
Предположим, что процессорные элементы генерируют поток данных уровня р^ 0. Поток направляется на входные каналы ПЭ нулевой ступени
(см. рис.).
1 к у
Рис.
Запрос к модулю памяти ММ^ прибывший на вход какого-либо ПЭ будет направлен либо на верхний, либо на нижний канал, в зависимости от значения
индекса у . Если у < -1, то запрос направляется на верхний канал, а если
N „
J > —, то на нижний. Множество входных каналов нулевой ступени может
иметь один из трех статусов, перечисленных в работе [9]. Уровень потока данных для канала, имеющего конечный статус, рассчитан в работе [7]. В данной работе рассматриваются каналы с общим и граничным статусом.
Множество горячих каналов имеет общий статус. Это означает, что после прохождения следующей ступени, первое множество выходных каналов не будет иметь ни одного горячего модуля памяти, а второе множество будет иметь к горячих модулей памяти в своей области достижимости. Вероятность того, что процессорный элемент сгенерирует запрос к горячему
модулю памяти 1, г = 2, ...,к, есть д1. Пусть д' есть вероятность того, что процессорный элемент сгенерирует запрос к обыкновенному модулю памяти.
— выходных канала ступени <Ъ0 будут горячими, порождая — горячих ПЭ
на ступени . Обозначим уровень потока данных для выходного горячего канала и выходного обыкновенного канала через р и р соответственно.
N
Рассмотрим ступень ^. — обыкновенных ПЭ на своих входных
N
каналах будет иметь уровень потока данных равный р0 ]. А — горячих ПЭ
на своих входных горячих каналах будут иметь уровень потока данных равный р . Обозначим уровень потока данных на горячих и обыкновенных
выходных каналах ступени ^ через р10 и р11 соответственно.
Вероятность того, что пакет будет направлен на выходной канал у0 есть
Р'
(N / 2)д'
к-1
(N - к)д' + ^ д1
1=0
а вероятность того, что пакет будет направлен на горячий выходной канал у} есть
к-1
(N/2 - к )д ' +^ дг
Л _ __________________г=0
Р
к-1
(N - к)д' +^ д1
г=0
Поэтому:
Рг[х0 ^Уо] =(Р-1,0)Р0; (4)
Рг[хо ^ У1] = (Р-1,0 )р1. (5)
Подставляя в (2) выражения (3) и (4), получаем:
ро,о = (р-\о)р1(р-\,о)р1 + (р-1,о) р1(1-р-1,о) р1 +
+ (р-1,о) р1(1 - (р-1,0)) р1 = 2( р_1,о)р: - (р-1,о)2(р:)2
Выражение для р01 получаем подобным образом:
Ро,1 - 2(Р-1,о)р0 -(Р-1,о)2р0 •
N
Выходной канал ступени ^ в своей области видимости имеет —
модулей памяти. Для горячего выходного канала область достижимости
состоит из к горячих модулей памяти и — — к обыкновенных модулей
4
памяти. Находим три величины уровня потока на выходных каналах ступени
V
( к—1 ^
(N/4 — к )д' + ^ д1
р1,0 - 2(ро,о)
¿=0
рі,1 = 2( р0,0)
— ( р0,0)2
к—1 Л2 (N /4 — к )д ' +^ д ¿-0
к—1
(N /2 — к )д' + ^ д1
к—1
— (р0,0)
(N/2 — к )д' + ^ д1
1-0 у
1-0 у
Л2
(N/4)д '
к—1
(N /2 — к )д' +^ д1
і-0 у
(8)
(9)
ри-2(р0,і)і (^^/2)д] (р0,1)2(^/4)д'У-^ (р0,1)2(1 У. (10)
Используя выражения (6) - (10) можно записать выражение для рт &:
рт,5 - рт—1,5—1 — (рт—1,5—0 1 “ I , для 1 < т < и — 1,2 < 5 < т + 1; (11)
2 7,2
рт,5 2(рт—1,0)В (рт—1,0) В
для 0 < т < и —1,0 < 5 < 1, где
2
V
V
2
в =
(N / 2™+1)д' + (£ д - кд')(1 - *)
1=0
к-1
(N /2т - к)д' + ^ д1
1 =0
Множество горячих каналов имеет граничный статус. Это означает, что после прохождения следующей ступени, первое множество выходных каналов будет иметь кх горячих модулей памяти, а второе множество будет иметь к2 горячих модулей памяти в областях достижимости. Вероятность того, что пакет будет направлен на выходной канал У есть
к\ -1
(N/2 - к1)д' + ^ д’
1=0
к +к2 -1 (Ы' - к1 - к2)д ' + ^ д
Вероятность того, что пакет будет направлен на выходной канал У есть
к\ +к2 -1 /2 - к2)д' + ^ д
Поэтому:
р1,1 = -
¡=к\
к\ +к2 -1
1=0
рг[х0 ^ У0] = (р-1,0)
1=0
к1+к2-1
(N - к1 + к2) + ^ д
рГ[х0 ^ у1] = (р-1,0)
1=0 у
к +к2-1 ^
(N/2 - к 2 )д' + ^ д
=к.
к +кл -1
1=0
(13)
Подставляя в (2) выражения (12) и (13), получаем:
1=0
р0,0 - 2(р—1,0)р ’ (р—1,0) (р ’ ) ;
р0,1 - 2(р—1,0)р , (р—1,0 ) (р , ) •
(15)
(16)
Находим три величины уровня потока на выходных каналах ступени ^ :
р1,0 - 2(р0,0)
к —1
(N/4 — к1)д ' + ^ д1
— 2( р0,0)2
к1 +к2 —1
(N /2 — к1 — к2)д ' + ^2 д1
1-0 у
к —1 Л2
(N/4 — к1)д' + ^ д1
1-0
к1 +к2—1
(N /2 — к1 — к2 )д ' + ^ д
(17)
р1,1 - 2( р0,0)
к1 +к2 —1 ^
(N/4 — к2)д' + ^2 д1
1-к1 к1 +к2 —1
(М'/2 — к1 — к2)д ’ + ^2 д1
1-0
— 2( р0,0)2
к1 +к2 —1
2
(N/4 — к2)д' + ^ д
1-к
к1+к2—1
(N /2 — к1 — к 2)д' + ^ д1
(18)
ри- /4)д 1 (р0д)2 ((N/2^ )- р0д (р0д)2 ( 2 ]•(19)
Используя выражения (15) - (19), запишем выражение для рп
рт,5 - рт—1,5—1 — (рт—1,5—1) |^| , для 1 < т < и — 1,2 < 5 < т + 1 ; (20)
V
У
V
У
2
pm,s 2( pm—1,0)
(N/2m+1)q' + q — kiq,)(l— s) + ( ^q1 — k2q,)s
=k
kl +^2 —1
(N/2m — k1 — k2)q,+ 2 q
— (21)
— 2( pm—1,0)2
к —1 ki + ^2 —1 Л
(n/2™+1)q' + (^ q — k1q')(1 — s) + ( 22 q — k2q')s
1=0
i=ki
kl +^2 —1
(N/2 m — k — ^ )q ' + ^ q1
(21)
для 0 < m < n —1,0 < s < 1.
Чтобы рассчитать ПСП необходимо определить уровни для всех потоков данных на каждой из имеющейся ступеней
Pn-1 = {Pw—1,0, Ри-^ Pn—U-.-Pn—l,« i Рассчитанных рекурсивно по формулам (11), (12), (20), (21), и применить выражение (2).
Выводы. Получено выражение для определения ПСП в условиях горячего трафика, которая является одной из наиболее важных характеристик быстродействия мультипроцессорной системы. Это позволяет произвести оценку быстродействия системы на этапе раннего проектирования, при условии, что известны параметры потока данных. Данная модель может быть применена системными архитекторами с целью получения оценки быстродействия мультипроцессорной системы при условии неоднородного трафика.
Список литературы: 1. Wilkinson B. Overlapping connectivity interconnection networks for shared memory multiprocessors systems // J. Parall. Distrib. Comput. - 1992. - 15 (1). - P. 49-61 2. Liu Y.C., Wang C. Analysis of prioritized crossbar multiprocessor systems // J. Parall. Distrib. Comput. - 1991. - 7.
- P. 321-334. 3. Евграфов В.Н. Производительность непрямой многоступенчатой сети при наличии горячего трафика для конечных каналов // Радиоэлектроника и информатика. - 2004. - № 4. 4. Chang D.Y., Kuck D.J. and Lawrie D.H. On the effective bandwidth of parallel memories // IEEE Transactions on Computers. - 1977. - Vol. 26. - P. 480-489. 5. Basket F., Smith AJ. Interference in multiprocessor computer systems with interleaved memory // Communications of ACM. - 1976. - Vol. 19.
- № 6. - P. 327-334. 6. Yang Q., Bhuyan L.N. Analysis of packet-switched multiple-bus multiprocessors // IEEE Trans. Comput., 1991. - 40 (3). - P. 352. 7. Kim H.S., Leon-Garcia A. Performance of buffered Banyan networks under non-uniform traffic patterns // IEEE Trans. Commun. - 1990. - 38 (5). - P. 648658. 8. Atiquzzaman M., Akhtar M.S. Effect of hot spots on the performance of multistage interconnection networks // FRONTIERS 92: The Forth Symposium on the Frontiers of Massively Parallel Computations, Virginia, 1992. - P. 504-505 9. Евграфов В.Н. Свойства бузбуферных многоступенчатых сетей для произвольного числа горячих модулей памяти. // Вестник НТУ "ХПИ". - Харьков: НТУ "ХПИ", 2004. - № 46. - С. 153 - 159.
i=0
г=0
2
i=0
Поступила в редакцию 22.03.2005
