CC BY
32
УДК 519.872.2, 519.872.5
ВОЗМОЖНАЯ СТРУКТУРНАЯ ОРГАНИЗАЦИЯ И ОЦЕНКА ПРОИЗВОДИТЕЛЬНОСТИ РЕКОНФИГУРИРУЕМЫХ ВЫЧИСЛИТЕЛЬНЫХ СИСТЕМ НА ОСНОВЕ ОБЩЕЙ ШИНЫ
А. И. Мартышкин
POSSIBLE STRUCTURAL ORGANIZATION AND PERFORMANCE EVALUATION OF RECONFIGURABLE COMPUTING SYSTEMS BASED ON A COMMON BUS
А. I. Martyshkin
Аннотация. Актуальность и цели. Современная технология оказала колоссальное влияние на структурную организацию реконфигурируемых вычислительных систем (в том числе и многопроцессорных). Переход от классической организации систем с разделяемой памятью к структурам с локальной памятью резко уменьшает интенсивность потока запросов к памяти и позволяет понизить требования к пропускной способности коммуникационной сети связи. Такой подход оказался плодотворным для реконфигурируемых систем с общей шиной, в которых способность к простому наращиванию числа процессоров ограничивается скоростью межпроцессорного обмена. Этим обусловлена актуальность статьи. Цель работы - рассмотрение вариантов возможной структурной организации и оценка производительности ре-конфигурируемых вычислительных систем на основе общей шины. Материалы и методы. Для достижения поставленных целей использованы методы теории массового обслуживания, а именно: разомкнутые сети массового обслуживания, средства, хорошо разработанные и описанные. Результаты. Разработаны и предложены выражения для оценки производительности реконфигурируемых вычислительных систем на основе общей шины. Выводы. Результатами исследования являются проанализированные варианты структурной организации, а также выражения для оценки производительности реконфигурируемых вычислительных систем.
Ключевые слова: реконфигурируемая вычислительная система, распределенная память, процессор, производительность, вычислительный модуль, конфликтная ситуация, межпроцессорный обмен, моделирование, система массового обслуживания.
Abstract. Background. Modern technology has a tremendous impact on the structural organization of reconfigurable computing systems (including multiprocessors). The transition from the classical organization of systems with shared memory to structures with local memory dramatically reduces the intensity of the flow of requests for memory and allows you to lower the requirements for the capacity of the communication network. This approach proved to be fruitful for reconfigurable systems with a common bus, in which the ability to simply increase the number of processors is limited by the speed of inter-processor exchange. This is due to the relevance of the article. Materials and methods. To achieve these goals used methods of theory of mass service, namely: open queueing networks, the tools are well designed and described. Results. Expressions have been developed and proposed for evaluating the performance of reconfigurable computing systems based on a common bus. Conclusions. The results of the study are analyzed options for structural organization, and expression to evaluate the performance reconfigurable computing.
Key words, reconfigurable computing system, distributed memory, CPU, performance, computing module, conflict situation, inter-processor exchange, modeling, Queuing system.
Введение
Современная технология оказала значительное влияние на структурную организацию многопроцессорных реконфигурируемых систем (МРС). Переход от классической организации многопроцессорных систем (МПС) с общей (разделяемой всеми процессорами) памятью (ОП) к структурам с локальной памятью (ЛП) резко уменьшает интенсивность потока запросов к ОП и позволяет понизить требования к пропускной способности межузловой сети связи. В частности, такой подход оказался плодотворным для МРС с общей шиной (ОШ), в которых способность к простому наращиванию процессоров ограничивается довольно низкой скоростью межпроцессорного обмена.
Постановка задачи
Рассмотрим основные варианты построения вычислительных систем с ОШ и ЛП. По способу организации памяти их можно разделить на структуры с объединенной ОП и ЛП и структуры с физической раздельной ОП и ЛП.
Структура МРС с объединенной ОП и ЛП показана на рис. 1. Система содержит п вычислительных модулей (ВМ), в каждом из которых имеется центральный процессор (ЦП) и ЛП, часть которой выделена под ОП, и коммутатор (К), необходимый для связи между ВМ. Управление ОШ может осуществляться арбитром.
Рис. 1. Структура МРС с объединенной общей и локальной памятью
Известны два способа организации структур с физически раздельной ОП и ЛП. Первый способ - ОП размещена на внутренних шинах ВМ (рис. 2), второй - ОП размещена на ОШ (рис. 3).
Отмеченные способы организации МРС с ОШ различаются быстродействием. Структура, показанная на рис. 2, наиболее быстродействующая, так как в ней минимизированы конфликты, возникающие как в ОШ, так и в ОП. Однако затраты коммутационного оборудования и памяти в такой структуре наибольшие.
Рис. 2. МРС с общей памятью, размещенной на внутренних шинах ВМ
Обшая iLMhâ Арбитр
ОП
Рис. 3. МРС с общей памятью, размещенной на общей шине
Структура, показанная на рис. 3, имеет низкое быстродействие из-за большого числа конфликтных ситуаций, возникающих в ОП. Аппаратные затраты здесь наименьшие. Структура МРС с объединенной памятью (см. рис. 1) занимает промежуточное положение [1].
Связь между ЦП через ОШ может осуществляться двумя способами, отличающимися пропускной способностью и сложностью реализации: без буферизации и с буферизацией сообщений [2, 3]. В первом случае ОШ предоставляется 7-му ЦП на все время выполнения команды обращения к ОП j-го ВМ. В противном случае ОШ предоставляется на значительно меньший промежуток времени, достаточный для обмена данными между буферными регистрами из состава коммутаторов. Этот способ более быстродействующий, но требует больших аппаратных затрат.
Разнообразие способов построения МРС с ОШ, значительно различающихся по аппаратным затратам и быстродействию, вызывает необходимость поиска оптимальной структуры для решения конкретной задачи. При выборе структуры для специализированных применений часто используется критерий получения заданной производительности при минимальных затратах оборудования. Производительность МРС с ОШ зависит от многочислен-
ных факторов и в том числе от конфликтов, возникающих в общих ресурсах (ОР). Одним из широко применяемых способов определения потерь производительности из-за возникающих конфликтов является аналитическое моделирование, которое при условии получения приемлемой по сложности и точности модели может стать хорошим инструментом на системном этапе проектирования.
Аналитическому моделированию МРС и МПС уделяется большое внимание, но существующие модели в основном предназначены для структур с ОП. При этом конфликты часто рассматриваются либо только в ОП, либо в ОШ [4, 5]. Имеются отдельные работы, где конфликты рассматриваются совместно [6-9]. Исследование структур с ЛП производится обычно без учета межпроцессорного взаимодействия. Для этого модель системы подразделяется на п систем массового обслуживания (СМО) (по числу ЦП в системе). Такое вводимое допущение, хотя и значительно упрощает процесс моделирования, но приводит к большим погрешностям. Особенно это отражается на структурах с ОШ, в которых характеристики вычислительной системы сильно зависят от межпроцессорного обмена.
Рассмотрим подход к моделированию структур с ЛП, основанный на случайных процессах, описываемых разомкнутыми сетевыми моделями массового обслуживания, позволяющих учесть конфликты, возникающие как в памяти, так и в ОШ [4].
Математическая модель структуры МРС с объединенной общей и локальной памятью
МРС состоит из п ЦП, в каждом из которых есть ЛП, часть которой, доступная всем ЦП системы, определена как ОП. При межпроцессорном обмене ЦП запрашивает ОШ, доступ к которой производится с помощью коммутатора. Получив доступ к шине, ЦП-источник выставляет адреса, управляющие сигналы и данные для их записи в область (считывания из области) ОП ЦП-приемника. В течение времени обращения ЦП-приемник находится в режиме блокировки. При связи без буферизации сообщений как на запись, так и на чтение из ОП требуется один цикл ОШ, длительность которого не ограничивается. Завершение цикла производится с получением сигнала об окончании обслуживания. При связи с буферизацией сообщений на запись требуется один цикл, а на чтение - два цикла. ЦП одновременно, в течение цикла шины, потребовавшие доступ к занятой ОШ, переходят в режим ожидания. Все остальные работают автономно.
Для обращения в ЛП используются местные шины ВМ. Если ЦП, обращаясь к ЛП, обнаружит ее занятой со стороны ОШ, то он переходит в режим ожидания до освобождения памяти.
Рассмотрим математическую модель МРС, где для межпроцессорного обмена используется принцип связи без буферизации сообщений. Модель (рис. 4) на первой фазе обслуживания содержит ОШ (узел «0), на второй - блоки памяти (узлы «1-£п) [4]. Все составляющие сеть узлы одноканальные.
Рис. 4. Модель МРС со связью без буферизации сообщений
ЦП выдают заявки на обслуживание узлом S0 с интенсивностью Xi = , где Noni - число одноадресных команд обращения 7-го ЦП в об-
ласть ОП внешних по отношению к нему ВМ; Т - время решения задачи. Заявка, заставшая узел S0 занятым, становится в очередь. Дисциплина обслуживания на первой фазе - FIFO. Интенсивность потока на входе узла S0
n
A = ^X . Заявка становится в очередь и ожидает до начала обслуживания.
7=1
Обслуженная узлом S0 заявка с вероятностью p0j поступает на обработку в
j-й узел, причем p0j = NojN ' где N0J - число одноадресных команд обращения в j-й блок памяти; N - суммарное число команд обращения ко всем блокам памяти.
Интенсивность потока заявок во второй фазе Uj = p0jA, причем заявки из потока Uj поступают на обслуживание с относительным приоритетом. Очередь O j ( j = 1, n) ограничена одним местом.
Поток команд i-го ЦП в i-й блок ЛП представляет собой поток заявок в узел Si (i = 1, n), поступающий с интенсивностью у7 = N™yT , где Nnni - число одноадресных команд обращения i-го ЦП в ЛП.
Время выполнения команды обращения i-го ЦП к ОП внешнего по отношению к нему ВМ определится как сумма времени выполнения команды tk без учета конфликтного простоя и времени задержки в сети. Время задержки в сети состоит из времени пребывания Tip заявки в первой фазе обслуживания (узел S0) и времени ожидания ТОЖ в очереди во второй фазе (один из узлов S1-Sn) toni = tk + ТПР + T(D-Kj. Время выполнения команды обращения i-го ЦП в ЛП tmi = tk + 0ож. где 9ОЖ - время ожидания заявки из потока у в очереди к узлу Sf (i = 1, n).
Так как узел S0 представляет собой СМО с одним обслуживающим прибором, то время пребывания заявки в нем составит
Т' =—р— (1)
ПР . /1 ч ' V1/
Л(1 -р0)
где р0 = Лt0 - загрузка узла 50 (ОШ); t0 - время обслуживания заявки узлом £0. При межпроцессорной связи без буферизации сообщений t0 = tз + ^ямяти, где tз - время занятия ОШ ЦП; ^ямяти - цикл памяти.
Так как заявки из потока а обслуживаются с относительным приоритетом по отношению к заявкам из потока у, время ожидания заявок из потока а во второй фазе равно остаточному времени обслуживания заявок из потока у:
у /2)
Jт I / памяти /г\\
ОЖ/ = (2)
где ^^м^ри - второй момент времени обслуживания блоком памяти.
Учитывая, что tk и ТШ(ТШ = ТОЖ + tз + ^шяти) одновременно содержат в себе ^ямяги, время выполнения операции обмена с ОП определится как
t(2) пам.
Л(1 -ро) Т
р Y г
_ — + Но + 1J пшяш (3)
'ОШ 'к 'памяти _ Ч "Г • W/
В симметричном случае, когда МРС, состоящая из n ЦП, решает одну задачу, распараллеленную на n идентичных подзадач, то Xi _ X, yi _ у, поэтому
р yt(2)
^ _ ^ _^ _|__г_0__|_ < памяти fZL^
*ОП "" 1к памяти к ,л ч ~ ' ^ '
Л (1 -ро) 2
Поток заявок у имеет более низкий приоритет по отношению к заявкам из потока а . В выражение для вычисления времени ожидания в очереди заявок из этого потока входят две составляющие. Первая - остаточное время обслуживания заявок из потока а ; вторая - время ожидания за счет обслуживания заявок из потока а , поступивших в течение времени ожидания заявок из потока у :
0. _0 . + а0ОЖ/ , (5)
oi oi i ОЖ. памяти ' V /
где 0oi - остаточное время обслуживания заявок из потока а,
а t(2)
0 i _ i памяти (6)
Подставляя (6) в (5) и решая относительно 0ОЖ, получим
а t(2)
0 __ i памяти__(7)
ОЖ/ Г\ /-t , ч ^ '
2(1 -^памяти)
Время выполнения команды обращения в ЛП определится как
a t(2)
*лт = tk + ' "Г ) . (8)
2(1 -а'^памяти)
Для симметричного случая
at (2)
tлп=tk+2(1 п7и ). (9)
2(1 а^памяти)
МРС, использующая связь с буферизацией, отличается наличием буферных регистров в интерфейсе ОШ-память. Хотя в общем случае буферных регистров (число мест в очереди Oj) может быть К, однако будем рассматривать структуры с одним буферным регистром (К = 2), что является наиболее типичным для реально существующих систем. В такой МРС время обслуживания ОШ состоит из времени занятия ОШ и времени обращения к буферному регистру t0 = t3 + tбр.
Заявка из потока a, застигнувшая узел Sj занятым обслуживанием предыдущей заявки из того же потока, приостанавливается и возвращается в конец очереди S0. Обозначим вероятность приостановки узлом Sj через p.0,
тогда вероятность приостановки обслуживания, создаваемая узлами S1 — Sn,
n
p0 = j p.0 . Связь, показывающая возможность передачи заявок с выхода на
j=i
вход узла S0 при приостановках, изображена на рис. 4 пунктирной линией. Следует отметить и учесть, что суммарный поток заявок в узле S0 не увеличивается, так как ЦП не выдает следующей заявки, пока предыдущая не будет обслужена. Поэтому дополнительная задержка, связанная с приостановками, может быть определена через вероятность приостановки p0 и среднее время пребывания заявки в узле S0:
W = рТпр. (10)
Вероятность приостановки p j0 есть вероятность того, что одноместная
очередь перед узлом Sj занята обслуживанием ранее поступившей заявки из потока a или у :
Pj 0 =Р2 (1 — Pj ), (11)
где p j =(a j + Yj Ущ. Тогда
p0 = j P2 (1 — Pj ). (12)
j=1
Подставив (12) в (10) и заменив Тш в соответствии с выражением (1), получим
ж=-
Ро
Л(1 -Ро)
I Р2 (1 -Р , )
]=1
Время выполнения операции обмена /-го ЦП с ОП
АОП/ = Гк + Тш + ТОж + ж. Поставив в (14) выражения для Тт , ТОЖ и Ж, получим
АОШ = Ак +
Ро
Л(1 -Ро)
1+1 Р2(1 -Р ,)
]=1
+
т А
(2)
(13)
(14)
(15)
Математическая модель структуры с физически раздельной общей и локальной памятью
Рассмотрим вначале структуру, где блоки ОП размещены на внутренних шинах ВМ, а межмодульная связь производится без буферизации. Число конфликтных ситуаций в ОП здесь меньше, чем в структуре с объединенной ОП и ЛП. Это обусловлено тем, что при обращениях /-го ЦП в ЛП не создается помех для заявок, поступивших из других ЦП на обслуживание /-м блоком ОП.
Отличие математической модели такой структуры от вышерассмотрен-ной модели в том, что интенсивность потока у{ будет определяться только
числом команд обращения /-го ЦП к /-му блоку ОП МОШ, т.е. у1 = ^ОПуТ . Если этот поток мал, то конфликтами в ОП можно пренебречь. Тогда модель упрощается и сводится к одноузловой с обслуживающим устройством 50. Время выполнения операции обращения к ОП будет состоять из времени Ак и времени ожидания в очереди к узлу 50:
А = А - А
1ОП/ к 1ЦП
Ро
Л (1 -Ро)
(16)
Время пребывания заявок в узле 5о в данном случае можно определить более точно (с меньшей погрешностью), используя модель системы типа М1МИ1п с конечным числом источников заявок (ЦП) п. Тогда среднее число заявок в системе
п!
4р =
1 кр (П - к)!
I Рк
п!
(17)
к=о (п - к)! Применяя формулу Литтла [4, 5], получим
п п!
Т =
А ПР
I крк
к=о (п - к)!
* I Рк
п!
(18)
(п - к)!
к=о
Отсюда
" и!
I kpk-
t = t -1 + -k=0_(и -k)! (19)
ЮП lk памяти и --I ' Vw/
и!
1=0 (" - к)!
В МПС, использующей связь с буферизацией, возможны конфликты как при обращениях к ОШ, так и к ОП. Модель системы аналогична ранее рассмотренной модели с объединенной ОП и ЛП с тем же способом межмодульной связи. Отличие лишь в том, что поток заявок у. в 7-ю ОП сократится из-за того, что ОП физически отделена от ЛП. Если этим потоком пренебречь (на рис. 4 полностью исключить потоки у1 — уя), то предлагаемая модель несколько упрощается.
Если общая память размещается на ОШ (см. рис. 3), то исследование такой модели, как правило, сводится к анализу одноканальной СМО.
Производительность МПС определяется способностью алгоритма распараллеливаться. Также на нее влияют управляющие программы, программы межпроцессорного обмена и конфликты, возникающие в ОР. Оценить производительность можно коэффициентом использования производительности 7-го ЦП, входящего в состав системы:
П 7 = 1 — (Щ + е + п + кг), (20)
ту Т / Т / Т /
где ui = ут , е{ = ЫТ , = ут , к = ^/т - соответственно коэф-
г max / г max / г max / г max
фициенты потерь из-за работы управляющих программ, программ межпроцессорного обмена, последовательных участков программ и конфликтного простоя 1-го ЦП; Т max - время выполнения наиболее длительной программы, обрабатываемой i-м ЦП:
Т = max{T + Т . + T + Т0, + Ткп.} , (21)
г max [ счг yi m Ог КПг J ' V /
где Тсчг- - время выполнения программы г-м ЦП без учета непроизводительных затрат.
Производительность МРС можно рассчитать по выражению
и
P* = PI п , где Р - производительность одного ЦП.
г=1
Заключение
Исследована структурная организация и проведена оценка производительности многопроцессорных реконфигурируемых систем на основе общей шины, получены аналитические модели, основанные на разомкнутых сетях массового обслуживания, приведены выражения для оценки производительности многопроцессорных вычислительных систем с общей шиной. Подробно расписаны выражения для расчета моделей реконфигурируемой системы, в которых для межпроцессорного обмена используется принцип связи без
буферизации сообщений. Показанные в работе модели и выражения позволяют производить оценку характеристик системы без построения реальных
дорогостоящих функциональных макетов.
Библиографический список
1. Цилькер, Б. Я. Организация ЭВМ и систем / Б. Я. Цилькер, С. А. Орлов. - 2-е изд. -СПб. : Питер, 2011. - 688 с.
2. Мартышкин, А. И. Исследование подсистем памяти с буферизацией транзакций на моделях массового обслуживания / А. И. Мартышкин // XXI век: итоги прошлого и проблемы настоящего плюс. - 2011. - № 3. - С. 124-131.
3. Майоров, С. А. Основы теории вычислительных систем : учеб. пособие / С. А. Майоров, Г. И. Новиков, Т. И. Алиев и др. ; под ред. С. А. Майорова. - М. : Высш. шк., 1978. - 408 с.
4. Клейнрок, Л. Вычислительные системы с очередями / Л. Клейнрок ; пер. с англ. -М. : Мир, 1979. - 600 с.
5. Богуславский, Л. Б. Вероятностные методы и модели управления потоками данных и ресурсами в сетях и многопроцессорных системах : автореф. дис. ... д-ра техн. наук. / Богуславский Л. Б. - М. : Институт проблем управления, 1995. - 38 с.
6. Мартышкин, А. И. К вопросу оценки времени обслуживания транзакций при обмене данными в многопроцессорных системах на основе общей шины с разделяемой памятью / А. И. Мартышкин // Вестник Рязанского государственного радиотехнического университета. - 2016. - № 56. - С. 90-98.
7. Мартышкин, А. И. Разработка и исследование математических моделей подсистемы «процессор-память» многопроцессорных вычислительных систем архитектур NUMA и SUMA на разомкнутых сетях массового обслуживания / А. И. Мартышкин // Вестник Рязанского государственного радиотехнического университета. - 2016. - № 55. - С. 55-63.
8. Martyshkin, A. I. Development and research of open-loop models the subsystem «Processor-memory» of Multiprocessor systems architectures UMA, NUMA and SUMA / A. I. Martyshkin // ARPN Journal of Engineering and Applied Sciences. - 2016. -Vol. 11, № 23. - P. 13526-13535.
9. Алиев, Т. И. Основы моделирования дискретных систем / Т. И. Алиев. - СПб. : СПбГУ ИТМО, 2009. - 363 с.
Мартышкин Алексей Иванович кандидат технических наук, доцент, кафедра вычислительных машин и систем,
Пензенский государственный технологический университет Е-таП: alexey314@yandex.ru
Martyshkin Aleksey Ivanovich candidate of technical sciences, associate professor, sub-department of computers and systems,
Penza State Technological University
УДК 519.872.2, 519.872.5 Мартышкин, А. И.
Возможная структурная организация и оценка производительности ре-конфигурируемых вычислительных систем на основе общей шины / А. И. Мартышкин // Модели, системы, сети в экономике, технике, природе и обществе. - 2о18. -№ 1 (25). - С. 141-15о.
