CC BY
16
УДК 004.272
DOI: 10.17586/0021-3454-2019-62-6-524-533
МЕТОД
ПАРАЛЛЕЛЬНО-КОНВЕЙЕРНО-ПАРАЛЛЕЛЬНОЙ КОММУТАЦИИ ПАКЕТОВ
В МУЛЬТИПРОЦЕССОРАХ
Мохаммед Джамиль Абдо Ажмаль, И. В. Зотов, Г. И. Передельский
Юго-Западный государственный университет, 305040, Курск, Россия E-mail: zotovigor@yandex.ru
Рассмотрена задача повышения скорости работы и пропускной способности коммуникационной среды мультипроцессора при использовании коммутационных устройств с входными FIFO-буферами и выходной матрицей регистров. Предложен метод коммутации пакетов в мультипроцессорах, новизна которого заключается в параллельно-конвейерной загрузке пакетов в матрицу регистров из входных буферов без ожидания выдачи всех ранее загруженных пакетов. Рассмотрена структурная модель коммутационного устройства, реализующего разработанный метод. Сформулирован алгоритм обработки пакетов коммутационным устройством, основанный на представлении множества пакетов, находящихся в матрице регистров в каждом такте работы устройства, графом совместности, отражающим возможность одновременной выдачи пакетов на выходы. Представлено правило взвешивания вершин графа совместности, учитывающее время нахождения пакетов в матрице регистров. Показано, что выбор множества пакетов, подлежащих выдаче, можно свести к выделению клики графа совместности, обладающей наибольшим весом, что позволяет минимизировать время обработки пакетов. Выведена формула для оценки среднего времени прохождения пакета через матрицу регистров коммутационного устройства при использовании разработанного метода. Исследованы зависимости указанного времени от числа входов/выходов устройства, выполнен их сравнительный анализ для предлагаемого метода и метода параллельно-последовательной коммутации пакетов. Показано, что разработанный метод позволяет снизить среднее время прохождения пакета через матрицу регистров более чем на 41 % во всех практически значимых случаях.
Ключевые слова: мультипроцессор, коммуникационная среда, коммутация пакетов, аппаратные средства, конвейерный режим
Введение. Скорость работы и пропускная способность коммутационных устройств (КУ) существенно влияют на время передачи данных в мультипроцессорах (МП) [1] и время обращения процессоров к удаленной памяти, а следовательно, на производительность мультипроцессора в целом. Применяемые в МП коммутационные устройства используют режим коммутации пакетов и во многом подобны ATM-коммутаторам вычислительных сетей, абонентских систем и мультикомпьютеров [2]. Их основным отличием является то, что пакеты разбиваются на фрагменты одинаковой разрядности (flit), которые передаются по шинам в параллельном коде за один-два такта. Указанные фрагменты могут группироваться [3] либо передаваться независимо друг от друга [4—6].
Применяемые в мультипроцессорах КУ различаются, прежде всего, расположением внутренних буферов, необходимых для временного хранения передаваемых пакетов. КУ с входными буферами [7, 8] не предъявляют требований к скорости работы коммутирующей части и, как правило, обладают квадратичной аппаратной сложностью, что позволяет использовать их при большом числе входов/выходов. Однако доказано [9], что подобные КУ (без модификации дисциплин обслуживания буферов и/или применения особых способов организации коммутирующей части) не могут обеспечить пропускную способность выше
2-42 « 0,586 из-за возникновения блокировок пакетов в головных регистрах буферов (HOL blocking). Наибольшая пропускная способность (до 100 %) теоретически достигается в КУ с выходными буферами [10, 11]. В подобных КУ пакеты сразу перераспределяются между выходами и затем сохраняются в буферах, что исключает блокировку пакетов. Однако такие КУ характеризуются кубической аппаратной сложностью и предъявляют серьезные требования к скорости работы коммутирующей части, которая должна в n раз превышать интенсивность потока пакетов на входе устройства (где n — число входов/выходов КУ). Поэтому их применение возможно при небольшом числе входов/выходов n и/или при условии снижения интенсивности трафика.
На практике часто используются комбинированные (с входным и выходным расположением внутренних буферов) варианты построения КУ. К ним, в частности, относятся коммутаторы с комбинированными очередями [12], с виртуальными выходными очередями [13—15], параллельно-конвейерные [16]. Перспективным представляется также параллельно-последовательный способ организации КУ с входными буферами и выходной матрицей регистров [17]. Он характеризуется квадратичной аппаратной сложностью и имеет простую коммутирующую часть, включающую несколько мультиплексоров и демультиплексоров. Однако известная реализация этого способа [18] не позволяет достичь требуемых значений пропускной способности КУ и характеризуется невысокой скоростью работы коммутирующей части, поскольку не допускает загрузку в матрицу регистров новых пакетов до завершения выдачи ранее загруженных.
В настоящей статье предлагается метод параллельно-конвейерно-параллельной коммутации пакетов в мультипроцессорах (ПКП-метод), являющийся развитием метода параллельно-последовательной коммутации (ПП-метода) [17], обеспечивающий повышение скорости работы и пропускной способности КУ при сохранении его квадратичной аппаратной сложности. Приводится аппаратно-ориентированный алгоритм параллельно-конвейерно-параллельной коммутации пакетов, реализующий предлагаемый метод; выполняется сравнительная оценка времени прохождения пакета через матрицу регистров при использовании параллельно-последовательной и параллельно-конвейерно-параллельной коммутации пакетов.
Ключевые особенности предлагаемого метода. Разработанный метод предполагает разделение буферизующей части КУ на входную часть (входные FIFO-буферы) и матрицу регистров (МР). FIFO-буферы подключены к соответствующим столбцам МР, что позволяет копировать пакеты из различных буферов в матрицу регистров параллельно. Пакеты распределяются между строками МР согласно алгоритму маршрутизации. Выдача пакетов из матрицы регистров на соответствующие выходы КУ осуществляется в параллельно-последовательном режиме: пакеты, находящиеся в разных строках МР, выдаются параллельно; пакеты, размещенные в одной и той же строке, передаются на выход последовательно.
Разработанный метод включает следующие этапы: 1) определение направлений выдачи пакетов, находящихся в головных ячейках входных буферов, в соответствии с реализуемым алгоритмом маршрутизации; 2) загрузка в МР всех пакетов, которым соответствуют свободные регистры матрицы, сдвиг очередей пакетов в буферах, откуда были считаны эти пакеты; 3) анализ способа размещения множества пакетов в МР и определение оптимального порядка выдачи пакетов из строк матрицы; 4) выдача выбранного множества пакетов из матрицы регистров на выходы КУ и освобождение соответствующих регистров.
Важной особенностью предлагаемого метода является то, что очередное множество пакетов загружается в МР сразу после перезаписи предыдущего (в следующем такте) без ожидания полного освобождения матрицы (этап 2). При этом если в некоторой строке МР более одного пакета, то первым выдается тот, который дольше всех пакетов этой же строки находился в матрице (этап 3). Если таких пакетов несколько, выбор осуществляется случайным образом согласно равномерному закону распределения.
Структурная модель коммутационного устройства. Структурная модель КУ, реализующего разработанный метод, приведена на рис. 1. Устройство содержит входы /ь/2,..., /п,
выходы 01,02,...,0п, входные буферы Ql,Q2,...,, матрицу регистров В =
Д,
, у = 1, п, а
также коммутирующие элементы Л!ьЛ^,--,, ,Кп , ¿1,¿2,.,¿п и клапаны
0Ь О2,..., Оп . Буферы Ql, Q2,..., Qn обеспечивают прием и временное хранение пакетов с входов /1,/2,.,/п соответственно. Матрица регистров В служит для перераспределения пакетов согласно реализуемому алгоритму маршрутизации ц перед их выдачей на выходы 01,02,.••,0п . Выбор строки матрицы для записи пакета, считанного из буфера Qi, определяется правилом ц-, которое реализуется коммутирующим элементом . Пакеты выдаются на О у последовательно в течение нескольких тактов ретрансляции, причем порядок выдачи определяется правилом фу, которое реализуется коммутирующим элементом Ьу . Клапаны 01,б^,...,Оп служат для временной блокировки передачи пакетов из соответствующих буферов при занятости требуемых регистров матрицы В. Такая организация КУ позволяет загружать пакеты из БШО-буферов в матрицу регистров по мере возможности, без ожидания завершения выдачи ранее загруженных пакетов. При этом из рис. 1 видно, что структурная (аппаратная) сложность КУ составляет О {п2 ).
Рис. 1
Алгоритм коммутации пакетов. Определим индикаторную функцию ^ такую, что ^ ^) = 1, если в буфере Ql в данный момент времени имеется хотя бы один пакет, и
^ ^ ) = 0, если Ql пуст. Пусть — множество пакетов, находящихся в матрице В на к-м такте работы КУ, к = 0,1,2,. . На множестве |Ву | определим индикаторную функцию Бк, такую, что Бк {Ву) = ед, если регистр Ву содержит некоторый пакет ед в к-м такте, Б к В) = 0, если Ву свободен.
На множестве пакетов Fk определим отношение совместности ak с Fk х Fk, такое, что
n n
[cq, сг о cq е \ Sk ((), cr g\J Sk ((): i' * i j=1 j=1
Введем в рассмотрение граф Гк ={Fk, ак), вершины которого соответствуют пакетам множества Fk, а ребра отображают их совместность. Взвесим вершины графа Гк неотрицательными целыми числами jiq J. Вес Tq вершины Cq будем определять временем, которое пакет Cq провел в МР с момента загрузки, выраженным в числе тактов работы КУ. Сразу после записи пакета Cq в матрицу полагаем Tq = 0. Выделим в графе Гк подмножество Г к =( Fk,а к), Fk с Fk, а к с а к такое, что ^ Tq = max. Если таких подмножеств в графе
CqeFk
Г к несколько, то выберем любое случайным образом. По определению, носитель Fk подмножества Гк будет включать только совместные вершины и будет максимальным по включению.
Представленные выше построения позволяют сформулировать алгоритм параллельно-конвейерно-параллельной коммутации пакетов. Граф-схема алгоритма изображена на рис. 2 (через ^ на рис. 2 обозначена операция чтения содержимого регистра и записи значения в регистр).
Оценка времени прохождения пакета через матрицу регистров. Время прохождения пакета через МР напрямую влияет на скоростные характеристики и пропускную способность КУ. Его можно оценить, рассматривая всевозможные варианты распределения пакетов в матрице.
Обозначим через t минимально возможное время прохождения пакета через МР (время последовательного прохождения одного пакета через пустую МР). Тогда среднее время прохождения пакета через МР в параллельно-конвейерно-параллельном КУ составит:
%КП
=(1)
nl=1
где п — среднее число пакетов, находящихся в МР в данном такте работы КУ: п = П + П, п > п; П — среднее число пакетов, которые в данном такте удается переписать из буферов в матрицу с учетом занятости некоторых ее регистров (п" < п ); п" — среднее чис-
(, п (п -1)
ло пакетов, не выданных в предыдущих тактах и все еще находящихся в МР I п < —^—- I;
р — вероятность того, что п пакетов располагаются в матрице регистров так, что хотя бы в одной из ее строк находится I пакетов, а в остальных — не более I пакетов (в предположении о равновероятном распределении пакетов любого столбца между строками МР):
Р = , (2)
Оп
где Оп — число всевозможных способов размещения п пакетов в МР; От — число способов размещения п пакетов в матрице таким образом, что хотя бы в одной из ее строк I пакетов, а в остальных — не более I:
Оп = ¿0,. (3)
I=1
Значения QP могут быть получены по следующей рекуррентной формуле:
QP - QP (р, п) =
0 при (р +/ -1 > п )(р/ < п ); пр при / = 1;
2
г=шах{1, п шоёр}
£
г шт{/-1, п-г/}
( )ср 2 Qр-г/ (р - г, п)
г=1
(4)
при / = 2, п-1,
где [а] — целая часть числа а; С^ =
х!
(5)
. . — число бесповторных сочетаний из х эле-У !(х - У)!
ментов по у; р — число строк текущей подматрицы МР, оно уменьшается по мере вычисления (изначально считается р - п ); дополнительная функция определяется следующим образом:
х, если п - г/ > р - г; 0, если п - г/ < р - г.
Использование функции £ позволяет заранее исключить ветви дерева рекуррентных вычислений, в которых будут нарушены условия размещения пакетов в МР. Например, при р -п = 4, п = 5 и / = 2 пакеты невозможно разместить в МР так, чтобы не осталось пустых строк.
Среднее время прохождения пакета через МР при параллельно-последовательной коммутации, согласно [18]:
£(х ) = ■
^ПП =
, п
=- 2 Р, п/=1
(6)
(7)
где р1 — вероятность того, что п пакетов разместятся в МР так, что хотя бы в одной из строк окажется / пакетов, а в остальных строках будет не более / пакетов (в предположении о равновероятном распределении пакетов любого столбца между строками МР):
Р = Яп.
Р~ Qn
где Qn — число всевозможных способов размещения п пакетов в МР; — число способов размещения п пакетов в матрице таким образом, что хотя бы в одной из строк окажется / пакетов, а в остальных строках будет не более /:
Qn = пп, (8)
1 при / = 0; Апр при / = 1; р при / = п;
^п - ^п (р ) =
п
7
2
г=1
Г i-1 ^
П сп
V }
=0
Ср х
( шт{/-1, п-г/} ^
2 &п-п (Р - 0
г=1
при / = 2, п -1,
х!
где р — число строк в текущей подматрице регистров (первоначально р = п ); ЛХу = , .
(х - У)!
— число бесповторных размещений из х элементов по у; х(а) — дополнительная функция: X (а) = а, если а > 0 ; х (а) = 1 — иначе.
На рис. 3 приведены зависимости величин ¿пкп и ¿пп от п, полученные с использованием формул (1)—(5) и (6)—(9) соответственно. Результаты расчетов по формулам (1)—(5) показали, что величина ¿пкп весьма слабо зависит от п - п , поэтому в качестве ¿пкп для каждого п бралось усредненное значение по всем допустимым п > п. Единицей измерения величин ¿пкп и ¿пп является такт длительности ? (т.е. минимально возможное время последовательного физического прохождения пакета через МР). Тот факт, что величины ¿пкп и ¿пп принимают значения, меньшие ¿, связан с эффектом ускорения вследствие параллельной обработки сразу нескольких пакетов. Так, например, для ретрансляции п = 5 пакетов при использовании разработанного метода требуется примерно 1,61? временных единиц (что в
5/1,61« 3,1 раза быстрее, чем при последовательной обработке). При этом на каждый пакет в среднем приходится лишь 0,32215? временных единиц.
¿1, ¿2 0,7 0,6 0,5 0,4 0,3 0,2 0,1 0
- -ПП-метод - -ПКП-метод
2
4
10
12
14 п
6 8 Рис. 3
Из рис. 3 видно, что предложенный метод имеет преимущества по времени прохождения пакета через МР перед параллельно-последовательным методом при любых значениях п. Минимальное преимущество составляет 12,5 % (при п = 2). Отметим, однако, что случаи п < 5 не типичны для мультипроцессоров рассматриваемого класса и поэтому практически не значимы. В практически значимых случаях (п > 5) согласно рис. 3 предложенный метод ускоряет прохождение пакетов через МР более чем на 41 %, по сравнению с ПП-методом. Так, при п = 5 (что соответствует системам с двумерной матричной топологией) ускорение составляет примерно 41,9 %, при п = 7 (системы с организацией трехмерного тора) получаем преимущество примерно в 44,5 %, при п = 9 (системы с топологией четырехмерного гиперкуба) имеется ускорение в 46,4 %.
Заключение. Ускорение прохождения пакетов через матрицу регистров ведет к повышению скорости работы и пропускной способности коммутационного устройства, однако теоретическая оценка общего эффекта затруднительна из-за необходимости учета случайного характера параметров входящих потоков пакетов. В связи с этим для оценки полного времени ретрансляции пакета, скорости работы и пропускной способности КУ при использовании ПП- и ПКП-методов целесообразно перейти к имитационному моделированию.
список литературы
1. Jerraya A. A., Wolf W. et al. Multiprocessor systems-on-chips. Elsevier Inc., 2005.
2. Misra S., Goswami S. Network routing: fundamentals, applications, and emerging technologies. Wiley Telecom, 2014.
3. Tilera: Tile processor architecture overview for the TILE-GX series [Электронный ресурс]: <http://www.mellanox.com/repository/solutions/tile-scm/docs/UG130-ArchOverview-TILE-Gx.pdf>.
4. Olofsson A. Epiphany-V: A 1024 processor 64-bit RISC System-On-Chip [Электронный ресурс]: <https://www.parallella.org/docs/e5_1024core_soc.pdf>.
5. Pat. 8531943 B2 USA Mesh network /A. Olofsson. Sep. 10, 2013.
6. Chen Y. Cell switched network-on-chip - candidate for billion-transistor system-on-chips // 2006 IEEE Intern. SOC Conf. 2006. P. 57—60.
7. Karol M., Hluchyj M. Queueing in high-performance packet switching // IEEE J. on Selected Areas in Communications. 1988. Vol. 6. Dec. P. 1587—1597. DOI: 10.1109/49.12886.
8. Ganjali Y., Keshavarzian A., Shah D. Cell switching versus packet switching in input-queued switches // IEEE/ACM Transactions on Networking. 2005. Vol. 13, N 4. Aug. P. 782—789. DOI: 10.1109/TNET.2005.852884.
9. Karol M., Hluchyj M., Morgan S. Input versus output queueing on a space-division packet switch // IEEE Transactions on Communications. 1987. Vol. 35, N 12. P. 1347—1356. DOI: 10.1109/TCOM.1987.1096719.
10. Chen D. X., Mark J. W. SCOQ: a fast packet switch with shared concentration and output queueing // IEEE/ACM Transactions on Networking. 1993. Vol. 1, N 1. P. 142—151. DOI: 10.1109/90.222914.
11. Dong Z., Rojas-Cessa R., Oki E. Buffered Clos-network packet switch with per-output flow queues // Electronics Letters. 2011. Vol. 47, N 1. P. 32—34. DOI: 10.1049/el.2010.2677.
12. Chuang S.-T., Goel A., McKeown N., Prabhakar B. Matching output queueing with a combined input/output-queued switch // IEEE J. on Selected Areas in Communications. 1999. Vol. 17, N 6. P. 1030—1039. DOI: 10.1109/49.772430.
13. Kang K., Park K.-J., Sha L., Wang Q. Design of a crossbar VOQ real-time switch with clock-driven scheduling for a guaranteed delay bound // Real-Time Systems. 2013. Vol. 49, N 1. P. 117—135. DOI: 10.1007/s11241-012-9169-6.
14. Neely M. J., Modiano E., Cheng Y.-S. Logarithmic delay for NxN packet switches under the crossbar constraint // IEEE/ACM Transactions on Networking. 2007. Vol. 15, N 3. P. 657—668. DOI: 10.1109/TNET.2007.893876.
15. Chang C.-S., Lee D.-S., Yue C.-Y. Providing guaranteed rate services in the load balanced Birkhoff-von Neumann switches // IEEE/ACM Transactions on Networking. 2006. Vol. 14, N 3. P. 644—656. DOI: 10.1109/TNET.2006.876202.
16. Крикунов О. В. и др. Коммутационный процессор с параллельно-конвейерной обработкой сообщений // Телекоммуникации. 2006. № 10. С. 11—16.
17. Емельянов С. Г., Зотов И. В., Титов В. С. Архитектура параллельных логических мультиконтроллеров. М.: Высш. школа, 2009. 233 с.
18. Беляев Ю. В. Параллельно-последовательный коммутатор для систем параллельной и распределенной обработки данных: Автореф. дис. ... канд. техн. наук. Курск, 2003. 17 с.
Сведения об авторах
Мохаммед Джамиль Абдо Ажмаль — аспирант; Юго-Западный государственный университет, кафедра
информационных систем и технологий; E-mail: gamal12345@mail.ru
Игорь Валерьевич Зотов — д-р техн. наук, профессор; Юго-Западный государственный универ-
ситет, кафедра информационных систем и технологий; E-mail: zotovigor@yandex.ru
Геннадий Иванович Передельский д-р техн. наук, профессор; Юго-Западный государственный универ-
ситет, кафедра электроснабжения; E-mail: kafedra@yandex.ru
Поступила в редакцию 24.12.18 г.
Ссылка для цитирования: Ажмаль Мохаммед Джамиль Абдо, Зотов И. В., Передельский Г. И. Метод парал-лельно-конвейерно-параллельной коммутации пакетов в мультипроцессорах // Изв. вузов. Приборостроение. 2019. Т. 62, № 6. С. 524—533.
METHOD OF PARALLEL-PIPELINE-PARALLEL PACKET COMMUTATION IN MULTIPROCESSOR
Mohammed Ajmal Jamil Abdo, I.V. Zotov, G. I. Peredelsky
Southwest State University, 305040, Kursk, Russia E-mail: zotovigor@yandex.ru
The problem of increasing the speed and throughput of multiprocessor communication networks using input FIFO-queued switches with an output register matrix is under consideration. A packet switching method is proposed featuring a parallel packet transfer pipeline which makes it possible to load packets from the input buffers to the register matrix with no delay needed to spin until the matrix is empty. The proposed method is shown to provide parallel and concurrent packet processing in the input and output circuits of the packet switch. A structural model of a packet switching unit based on the proposed approach is presented. A packet switching algorithm is formulated based on the representation of the set of packets loaded into the register matrix in the form of a packet consistency graph reflecting the packet set ability of being issued in parallel. A graph vertex weight assignment rule is stated taking into account the idle time packets spend in the register matrix. A maximum total weight clique of the consistency graph is shown to be searched for to pick up a proper subset of packets that can be issued currently which makes it possible to reduce the idle time. A formula is deduced to calculate the average time needed for a packet to be transferred through the register matrix of a switch based on the proposed method. The average packet transfer time versus the number of input/output terminals graphs are investigated and the comparison is made for the parallel-sequential switching method and the proposed approach. The developed method is demonstrated to decrease the average packet transfer time by 41 % for all cases of practical significance.
Keywords: multiprocessor, communication network, packet switching, hardware, pipeline mode
REFERENCES
1. Jerraya A.A., Wolf W. et al. Multiprocessor systems-on-chips, Elsevier Inc., 2005.
2. Misra S., Goswami S. Network routing: fundamentals, applications, and emerging technologies, Wiley Telecom, 2014.
3. Tilera: Tile processor architecture overview for the TILE-GX series, http://www.mellanox.com/repository/solutions/tile-scm/docs/UG130-ArchOverview-TILE-Gx.pdf.
4. Olofsson A. Epiphany-V: A 1024 processor 64-bit RISC System-On-Chip, https://www.parallella.org/docs/e5_1024core_soc.pdf.
5. Patent 8531943 B2 USA, Mesh network, Olofsson A. Published Sep. 10, 2013.
6. Chen Y. 2006 IEEE International SOC Conference, 2006, pp. 57-60.
7. Karol M., Hluchyj M. IEEE Journal on Selected Areas in Communications, 1988, vol. 6, Dec., pp. 1587-1597. DOI: 10.1109/49.12886.
8. Ganjali Y., Keshavarzian A., Shah D. IEEE/ACM Transactions on Networking, 2005, no. 4(13), pp. 782-789. DOI: 10.1109/TNET.2005.852884.
9. Karol M., Hluchyj M., Morgan S. IEEE Transactions on Communications, 1987, no. 12(35), pp. 1347-1356. DOI: 10.1109/T0DM.1987.1096719.
10. Chen D.X., Mark J.W. IEEE/ACM Transactions on Networking, 1993, no. 1(1), pp. 142-151. DOI: 10.1109/90.222914.
11. Dong Z., Rojas-Cessa R., Oki E. Electronics Letters, 2011, no. 1(47), pp. 32-34. DOI: 10.1049/el.2010.2677.
12. Chuang S.-T., Goel A., McKeown N., Prabhakar B. IEEE Journal on Selected Areas in Communications, 1999, no. 6(17), pp. 1030-1039. DOI: 10.1109/49.772430.
13. Kang K., Park K.-J., Sha L., Wang Q. Real-Time Systems, 2013, no. 1(49), pp. 117-135. DOI: 10.1007/s11241-012-9169-6
14. Neely M.J., Modiano E., Cheng Y.-S. IEEE/ACM Transactions on Networking, 2007, no. 3(15), pp. 657-668. DOI: 10.1109/TNET.2007.893876.
15. Chang C.-S., Lee D.-S., Yue C.-Y. IEEE/ACM Transactions on Networking, 2006, no. 3(14), pp. 644-656. DOI: 10.1109/TNET.2006.876202.
16. Krikunov O.V. et al. Telekommunikatsii, 2006, no. 10, pp. 11-16. (in Russ.)
17. Emel'yanov S.G., Zotov I.V., Titov V.S. Arkhitektura parallel'nykh logicheskikh mul'tikontrollerov (Architecture of Parallel Logic Multicontrollers), Moscow, 2009, 233 p. (in Russ.)
18. Belyayev Yu.V. Parallel'no-posledovatel'nyy kommutator dlya sistem parallel'noy i raspredelennoy obrabotki dannykh (Parallel-Serial Switch for Parallel and Distributed Data Processing Systems), Extended abstract of candidate's thesis. Kursk, 2003, 17 p. (in Russ.)
Data on authors
Mohammed J. A. Ajmal — Post-Graduate Student; Southwest State University, Department
of Information Systems and Technologies;
E-mail: gamal12345@mail.ru
Igor V. Zotov — Dr. Sci., Professor; Southwest State University, Department of
Information Systems and Technologies;
E-mail: zotovigor@yandex.ru
Gennady I. Peredelsky — Dr. Sci., Professor; Southwest State University, Department of
Power Supply; E-mail: kafedra@yandex.ru
For citation: Ajmal Mohammed Jamil Abdo, Zotov I. V., Peredelsky G. I. Method of parallel-pipeline-parallel
packet commutation in multiprocessor. Journal of Instrument Engineering. 2019. Vol. 62, N 6. P. 524—533
(in Russian).
DOI: 10.17586/0021-3454-2019-62-6-524-533
