CC BY
16
Раздел I. Принципы построения и архитектура суперкомпьютеров
УДК 004.382.2 DOI 10.18522/2311-3103-2020-7-6-19
И.И. Левин, А.М. Федоров, Ю.И. Доронченко, М.К. Раскладкин
ПЕРСПЕКТИВНЫЕ ВЫСОКОПРОИЗВОДИТЕЛЬНЫЕ РЕКОНФИГУРИРУЕМЫЕ ВЫЧИСЛИТЕЛИ С ИММЕРСИОННЫМ
ОХЛАЖДЕНИЕМ
Рассматриваются перспективны создания высокопроизводительных реконфигурируемых вычислительных устройств на основе современных ПЛИС фирмы Xilinx семейства UltraScale+. Целью работы является достижение в одном изделии с конструктивом 3U19 ' вычислительной плотности до 128 ПЛИС высокой степени интеграции при обеспечении соответствующих электропитания и охлаждения вычислительных элементов системы для решения вычислительно трудоемких задач. Обеспечение требуемых характеристик изделия в заданном конструктиве потребовало усложнения топологии печатных плат и технологии изготовления его составных частей. Для охлаждения компонентов вычислительной системы используется иммерсионная (погружная) технология. Особенностью разрабатываемых вычислительных систем является широкие возможности информационного обмена внутри блока и между блоками для решения сильносвязанных задач, в которых количество пересылок данных между функциональными устройствами больше, чем количество таких устройств. В качестве основных связей между ПЛИС используются дифференциальные линии с подключенными к ним мульти-гигабитными трансиверами (MGT). Разработанная на основе оптических каналов система информационного обмена между блоками обеспечивает пропускную способность более 2 Тбит/с. Разработан и изготовлен опытный образец вычислительного модуля на основе ПЛИС UltraScale+. На его основе изготовлен прототип реконфигурируемого вычислительного блока. Вычислительный блок содержит в своем составе универсальный процессор и необходимые интерфейсы ввода-вывода, являясь функционально законченным устройством. На вычислительном модуле нового поколения был реализован ряд алгоритмов различных научно-технических задач, что подтвердило возможность широкого применения вычислителей. Разработана модернизированная иммерсионная подсистема охлаждения, которая обеспечивает отвод выделяемой суммарной тепловой мощности до 20 кВт. Для достижения такого уровня теплоотво-да реализованы технические решения по всем компонентам системы охлаждения: хладагенту, радиаторам, насосу, теплообменнику. Объединение множества блоков в единый вычислительный контур позволит создавать вычислительные комплексы с производительностью до нескольких десятков петафлопс. Такие комплексы требуют наличия соответствующей инженерной инфраструктуры.
Реконфигурируемые вычислительные системы; производительность вычислений; иммерсионные системы охлаждения; энергоэффективность вычислений; вычислительная плотность; сильносвязанные задачи.
I.I. Levin, A.M. Fedorov, Yu.I. Doronchenko, M.K. Raskladkin
ADVANCED HIGH-PERFORMANCE RECONFIGURABLE COMPUTERS WITH IMMERSION COOLING
The paper deals with prospects for the design of high-performance reconfigurable computing devices based on modern Xilinx UltraScale+ FPGAs. The aim of the research is the computational density up to 128 LSI FPGAs in one 3U 19' product. Besides, it is necessary to provide the required power
supply and cooling of the system's computing elements during execution of computationally expensive tasks. To provide the product's required parameters in the given design package, we made the topology of our printed circuit boards and the design technology of their parts more complex. To cool the components of our computer system, we use the immersion technology. The distinction of the designed computer systems is wide capabilities of data exchange inside the block and among the blocks. It is crucial for tightly-coupled tasks, where the number of data transfers among functional devices is much higher than the number of such devices. As the main links between FPGAs, we use differential lines with multigigabit transceivers (MGT). The optical channels based system of data exchange among the blocks is provides the throughput over 2 Tbit/sec. We designed and produced a prototype of a computational module based on UltraScale+ FPGAs, and a prototype of a reconfigurable computational block. The computational block contains a general-purpose processor and all needed input-output interfaces. It is a stand-alone device. We used the new-generation computational module for implementation of several algorithms of various scientific and technical problems, and proved its wide applicability. We designed a modified immersion cooling subsystem, which dissipates total heat up to 20 kW. To achieve such level of heat dissipation, we implemented technical solutions concerning all components of the cooling system: the cooling agent, heat sinks, the pump, the heat-exchange unit. It is possible to unite several blocks into computer complexes with the performance up to tens of petaflops. Such complexes require a suitable engineering infrastructure.
Reconfigurable computer system; computational performance; immersion cooling system; power efficiency of calculations; computational density; tightly-coupled task.
Введение. В настоящее время в области высокопроизводительных вычислений наблюдается существенное замедление роста производительности традиционных многопроцессорных систем, повышение тактовых частот процессоров остановилось. В то же время для реконфигурируемых вычислительных систем (РВС), построенных на основе программируемых логических интегральных схем (ПЛИС), удается поддерживать рост производительности вычислений в 2,5-3 раза с выходом каждого нового поколения ПЛИС.
Одной из труднейших проблем построения эффективных вычислителей является обеспечение приемлемых тепловых режимов работы как отдельных компонентов с высоким тепловыделением, так и функционально законченного вычислительного устройства в целом. Важным конструкторским решением является выбор той или иной системы охлаждения. В данной области преобладает использование воздушных систем охлаждения, а также систем с жидкостным охлаждением с помощью тепловых трубок. Такие способы охлаждения при высоком тепловыделении становятся очень громоздкими, а использование воды как хладагента существенно снижает надежность изделий.
Проведенные в Научно-исследовательском центре супер-ЭВМ и нейрокомпьютеров (НИЦ СЭ и НК, г. Таганрог) исследования показали [1], что из различных вариантов жидкостного охлаждения наиболее эффективной является иммерсионная технология [2], которая стала активно развиваться и получила свою реализацию в образцах вычислительной техники. Однако изготавливаемые в настоящее время различными производителями конструктивы [3-5] для жидкостного охлаждения обладают очень низкой плотностью компоновки вычислительных элементов и предназначены только для устройств на основе CPU или GPU.
Эффективность погружного охлаждения подтверждена применением этой технологии в серийно выпускаемом в настоящее время изделии «Неккар» [6], построенном на основе ПЛИС Xilinx семейства UltraScale.
В настоящее время в НИЦ СЭ и НК ведется разработка перспективных ре-конфигурируемых вычислительных блоков (РВБ) [6-21], состоящих из 12 вычислительных модулей (ВМ) с ПЛИС Xilinx семейства UltraScale+ с применением иммерсионной системы охлаждения. Применение ПЛИС фирмы Xilinx семейства UltraScale+, выполненных по 16-нм технологии, позволит до 3-х раз повысить производительность вычислений за счет роста тактовой частоты и степени интеграции ПЛИС, причем без увеличения объема вычислительной системы.
Реконфигурируемые вычислительные блоки «Арктур» и «Сегин». Разрабатываемый РВБ «Арктур» представляет собой функционально законченное изделие с 12-ю ВМ на основе ПЛИС XCVU35P (или XCVU45P). Особенностями данного устройства являются его широкие возможности информационного обмена. РВБ «Арктур» должен обеспечивать решение сильносвязанных задач, т.е. задач, в которых количество пересылок данных между функциональными устройствами больше, чем количество таких устройств. В качестве основных связей между ПЛИС предполагается использование дифференциальных линий с подключенными к ним мульти-гигабитными трансиверами (MGT); вспомогательными связями являются дифференциальные линии, подключенные к НР-банкам. Структурная схема РВБ «Арктур» показана на рис. 1.
В вычислительном модуле ПЛИС связаны «горизонтальными» и «вертикальными» линиями связей. «Горизонтальные» связи между ПЛИС представлены 28-ю дифференциальными парами со скоростью передачи данных до 25 Гбит/с по одной паре, что обеспечивает пропускную способность до 700 Гбит/с независимо в каждом направлении.
Также имеется канал, связывающий по кольцу первую и последнюю ПЛИС в ВМ с помощью 12-ти дифференциальных пар и со скоростью до 300 Гбит/с независимо в каждом направлении.
Дополнительно имеются 48 дифференциальных линий с максимальной скоростью до 1,2 Гбит/с, каждая из которых может работать в любом направлении.
Рис. 1. Структурная схема РВБ «Арктур»
К «вертикальным» связям относятся 192 дифференциальные пары с допустимой скоростью передачи данных до 20 Гбит/с по одной паре, что обеспечивает пропускную способность до 3840 Гбит/с независимо в каждом направлении.
Кроме того, между платами существуют связи, предназначенные для служебных целей, таких как загрузка конфигурации ПЛИС, передача команд и данных от процессора к любому вычислительному модулю. Пропускная способность данного канала - 64 Гбит/с для обоих направлений независимо.
Общая пропускная способность каналов связи ВМ - 13 Тбит/с, в том числе между ВМ - 7,68 Тбит/с.
Возможна организация информационного взаимодействия между РВБ при построении вычислительных комплексов, которое осуществляется через оптические каналы. Многоканальные оптические приемо-передатчики установлены на отдельной кросс-плате и подключаются к первому вычислительному модулю через разъемное соединение. Скорость приема и передачи данных в каждом из оптических каналов достигает 14 Гбит/с. Общее количество оптических каналов составляет 192 канала на прием и 192 канала на передачу, что позволяет получить пропускную способность до 2688 Гбит/с независимо в каждом направлении.
Для осуществления загрузки ПЛИС и управления процессом вычислений разработана оригинальная материнская плата на основе процессора Intel Skylake®Core I5-6300U и ПЛИС семейства Kintex Ultrascale - модуль загрузки и управления (МЗУ). МЗУ обеспечивает функциональную законченность изделия и выполнен в виде отдельной платы. ПЛИС МЗУ выполняет функцию контроллера и через кросс-плату обеспечивает взаимодействие между процессором и ПЛИС в первом вычислительном модуле. На плату индикации выведены кнопки управления, индикаторы, а также интерфейсы для подключения клавиатуры, мыши, дисплея, Ethernet, и оптический интерфейс.
РВБ «Арктур» должен обеспечивать решение задач с особыми требованиями к объему динамической памяти. Типовым техническим решением, применявшимся ранее, было размещение на вычислительном модуле микросхем статической или динамической памяти, связанных с вычислительными ПЛИС. Фирма Xilinx в рамках семейства UltraScale+ выпустила особую линейку «HBM», в которой ПЛИС в рамках одного корпуса обладает новым аппаратным ресурсом -встроенным модулем DDR памяти HBM2. Память HBM2 имеет объем до 16 Гбайт и может обеспечивать многоканальный доступ 16х64 бит. Использование ПЛИС линейки «HBM» позволяет исключить из компоновки платы микросхемы памяти и упростить топологию.
В качестве целевой ПЛИС планируется использование XCVU35P (или XCVU45P), в которой объем HBM2 составляет 8 Гбайт (16 Гбайт).
В связи с тем, что габариты корпуса ПЛИС XCVU35P на 5 мм больше габаритов корпуса ПЛИС семейства UltraScale, используемых в предыдущих РВС, например, РВБ «Скат» [5], РВБ «Неккар», увеличивается длина печатной платы ВМ, что не позволяет разместить, как обычно, восемь вычислительных ПЛИС и контроллер ВМ, также реализованный на ПЛИС. Для сохранения вычислительной плотности изделия из состава вычислительного модуля исключена ПЛИС контроллера. Функции контроллера (обеспечение процесса загрузки конфигураций ПЛИС, реализация интерфейса доступа к вычислительным ресурсам и мониторинг параметров) возложены на вычислительную ПЛИС, что потребует не более 5 % её ресурса.
Реализация в РВБ «Арктур» для решения как можно более широкого класса научно-технических задач мощной системы информационных связей, требующей наличия достаточно габаритных соединителей, неизбежно приводит к ряду ограничений. Приходится жертвовать наличием внешней распределенной памяти, и если в случае с динамической памятью проблему решает применение HBM, то при необходимости реализации максимального объема статической памяти места для неё на плате нет, а объем встроенной в ПЛИС статической памяти пока невелик. ПЛИС XCVU35P не обладает в данном случае максимальной логической емкостью, использование которой возможно в заданном конструктиве. Наиболее эффективной по производительности является ПЛИС XCVU9P, у которой количество System Logic Cells в 1,35 раза больше, чем в XCVU35P.
В этой связи для решения задач, не обладающих сверхсильной связностью, в НИЦ СЭ и НК разрабатывается также РВБ «Сегин» с еще более мощным логическим ресурсом.
Структурная схема РВБ «Сегин» схожа с представленной на рис. 1 схемой РВБ «Арктур». Основным отличием, кроме использования другого типа ПЛИС, является отсутствие межмодульных и межблочных соединений, но при этом на 10% увеличена пропускная способность между ПЛИС. Данное решение позволит достигнуть максимума производительности для заданных габаритов, обеспечив при этом необходимый уровень электропитания и охлаждения компонентов. Структурная схема РВБ «Сегин» показана на рис. 2.
В РВБ нового поколения также будет использоваться электропитание 400 В постоянного тока. Для электропитания вычислительных модулей разработан модуль питания, обеспечивающий четыре канала преобразования DC/DC 400/12 В мощностью до 6,4 кВт для электропитания четырех ВМ. Максимальная потребляемая мощность РВБ - 20 кВт.
Рис. 2. Структурная схема РВБ «Сегин»
Для охлаждения электронных компонентов РВБ был разработан диэлектрический хладагент - масло маловязкое, диэлектрик МД-4,4 Gazpromneít для охлаждения электронных компонентов ЭВМ. Хладагент обладает высокой электрической прочностью и теплопроводностью, а также максимально возможной теплоемкостью при низкой вязкости.
Исследования на макете и опытном образце вычислительного модуля. Все технические решения по созданию вычислительных модулей «Арктур» и «Сегин» отмакетированы. Макет представляет собой печатную плату с двумя ПЛИС UltraScale+ XCVU9P-1FLGC2104E, необходимой системой питания и элементами системы информационного обмена, в том числе по оптическим каналам. На макете апробированы новая подсистема питания, подсистема мониторинга, технология высокоскоростного обмена (в том числе между РВБ), несколько конфигураций подсистемы синхронизации и другие решения. Фотография макета представлена на рис. 3. В настоящее время произведен и проходит испытания ВМ «Сегин» (рис. 4).
Рис. 3. Макет вычислительного модуля «Сегин»
Как показали исследования ВМ, при выполнении теста с использованием логического ресурса ПЛИС, близкого к максимальному, значение потребляемой мощности в цепи питания ядра ПЛИС XCVU9P-1FLGC2104E достигает 150 Вт при температуре кристалла ПЛИС 50°С.
Рис. 4. Вычислительный модуль «Сегин»
На макете и на ВМ был реализован ряд алгоритмов различных научно -технических задач, что подтвердило возможность широкого применения вычислителей. На основе результатов выполнена оценка производительности разрабатываемых блоков и системы на их основе - вычислительной стойки из 16 -ти блоков (табл. 1).
Таблица 1
Производительность изделий
В ычислительные блоки и вычислительная стойка Производительность решения задачи КИХ-фильтр (Single precision IEEE-754) Производительность решения задачи LU-разложения -(Double precision IEEE-754)
РВБ «Сегин» 220 Tflop/s 64 Tflop/s
РВБ «Арктур» 170 Tflop/s 40 Tflop/s
Вычислительная стойка из 16-ти РВБ «Сегин» 3,5 Pflop/s 1000 Tflop/s
Вычислительная стойка из 16-ти РВБ «Арктур» 2,7 Pflop/s 640 Tflop/s
Задача фильтрации позволила оценить достижимую реальную производительность, близкую к пиковой производительности РВБ, так как её алгоритм состоит в основном из вычислительных операций, и его реализация практически полностью задействовала вычислительный ресурс ПЛИС.
Также выполнено решение СЛАУ с помощью конвейерной вычислительной структуры, реализующей функцию ии -разложения, что является алгоритмической основой теста производительности компьютеров LINPACK. Данная оценка, очевидно, не может являться характеристикой для сравнения с другими вычислительными архитектурами, однако подтверждает реализуемость на РВС тестовых задач, используемых для традиционных архитектур, и даёт представление об уровне производительности.
Модернизация системы охлаждения. Увеличение потребляемой мощности разрабатываемых блоков до 20 кВт требует кардинальной переработки подсистемы охлаждения - необходимо повысить её производительность в 2 раза. Эффективность применения открытой системы жидкостного охлаждения обусловливается эффективностью технических решений при реализации каждого из компонентов: как применяемого хладагента, так и конструкции и параметров используемых радиаторов ПЛИС, насосного оборудования, теплообменников. Хладагент должен обладать наилучшей электрической прочностью, высокой теплопроводностью, максимально возможной теплоемкостью при низкой вязкости. Радиатор должен обеспечивать максимальную поверхность теплосъема, возможность организации циркуляции хладагента через радиатор, турбулентность потока хладагента в радиаторе, технологичность изготовления. Применяемый термоинтерфейс должен не деградировать и не вымываться хладагентом, иметь стабильно высокий коэффициент теплопроводности. Теплообменник должен обеспечивать высокий коэффициент теплопередачи между основным и вторичным контуром охлаждения. Для обеспечения циркуляции хладагента в объеме РВБ используется насос, который должен обладать необходимой производительностью.
В рамках модернизации системы охлаждения решены следующие сложнейшие задачи:
♦ разработка новой конструкции радиатора, позволившей увеличить эффективную площадь поверхности теплообмена;
♦ увеличение производительности насоса, а также повышение надежности посредством применения погружных насосов, что позволит также отказаться от принудительной циркуляции холодного воздуха в вычислительных стойках;
♦ разработка нового, более производительного теплообменника (в настоящее время ведутся работы по производству в России).
Для отвода большего количества тепла от ПЛИС необходимо увеличивать площадь теплосъема у радиаторов, монтируемых на ПЛИС, исключив при этом увеличение высоты радиатора. В рамках проведенных исследований рассматривалось множество вариантов конструкции радиаторов, часть из которых были эффективны, но очень дорогостоящие в технологии изготовления. Найдено оптимальное решение по исполнению радиаторов, изготовленных по традиционной отработанной технологии, но с увеличенной площадью теплосъема за счет уменьшения толщины ребер (увеличив тем самым количество каналов) и увеличения числа канавок в каналах (рис. 5). Для серийного радиатора с учетом увеличения габаритов ПЛИС удалось увеличить площадь теплосъема более чем в два раза.
Циркуляцию хладагента в системе жидкостного охлаждения обеспечивает насос с приводом от электродвигателя постоянного тока.
Рис. 5. Радиатор РВБ «Сегин»
Электродвигатель является единственным элементов в РВБ с жидкостным охлаждением, требующим отдельного охлаждения, для чего в вычислительных стойках предусматривается принудительная циркуляция холодного воздуха. Предложено техническое решение по погружению насоса в хладагент РВБ, где происходит непосредственное охлаждение электродвигателя. Данное решение позволяет снизить требования к вычислительным стойкам и помещениям, где эксплуатируются РВС с иммерсионным охлаждением. Кроме того, значительно упрощается техническое обслуживание, а также повышается надежность при эксплуатации за счет уменьшения количества открытых гидравлических соединений.
Увеличение выделяемой тепловой мощности ПЛИС влечет увеличение мощности теплообменника не менее чем в 1,5 раза, что потребовало нарастить количество рабочих пластин с 24 до 36 штук, что неизменно повлияло на его высоту. При существующей схеме расположения гидравлических элементов сохранение габарита изделия 3U стало невозможным. Проблему могло решить расположение теплообменника на боковой поверхности, но в этом случае теплообменник переставал выполнять свою основную функцию - отвод тепла. Дело в том, что у современных теплообменников штуцеры для подключения теплоносителей одной среды, как правило, расположены в одной плоскости, параллельной боковой поверхности, а не по диагонали. Поэтому при установке теплообменника на боковой поверхности невозможно удалить воздух из теплообменника для среды, у которой штуцеры расположены внизу.
Для конструкции РВБ идеальным виделось диагональное расположение штуцеров сред на противоположных сторонах. Это позволило бы разделить подключение хладагента и воды на разных сторонах теплообменника, сократить количество гидравлической арматуры и минимизировать последствия нарушения герметичности подключения изделия. Кроме того, необходимо, чтобы теплообменник эффективно работал с более вязкой средой, чем вода, - хладагентом МД-4,4 Gazpromneft. Это потребовало применения пластин специальной конфигурации.
В сотрудничестве с немецким производителем пластинчатых теплообменников фирмой «Funke» данная проблема была решена. За основу были взяты теплообменники серии TPL, которые разрабатывались специально для охлаждения гидравлических и моторных масел водой. Ширина канала теплообменников TPL до 80% больше, чем у классических паяных водо-водяных теплообменников. Специальными встроенными турбулизаторами и эффективными диагональными направляющими создается максимальная эффективность. Теплообменники TPL обладают повышенными требованиями к технологии пайки, исключающими возможность перемешивания двух сред. В соответствии с требованиями были доработаны рабочие пластины, обеспечивающие диагональное расположение штуцеров рабочих сред на противоположных сторонах изделия (рис. 6). В настоящее время исследуется возможность производства теплообменников в России.
Рис. 6. Теплообменник РВБ «Сегин»
Претерпела изменения и система компенсации объемного расширения хладагента вследствие изменения его температуры. Ранее для этих целей использовался расширительный бачок, сообщающийся с атмосферой, где изменялся уровень хладагента в зависимости от его объемного расширения. Такая система имела ряд недостатков: сложность конструкции расширительного бачка и наличие соединительных гидравлических узлов требовали тщательной герметизации изделия и регулярного контроля уровня хладагента. Кроме того, хладагент, находящийся в расширительном бачке, контактировал с атмосферным воздухом, что приводило к его дополнительному окислению и неизбежному сокращению срока службы.
В предложенном техническом решении роль компенсатора объемного расширения хладагента играют гофрированные резиновые рукава (рис. 7). При этом полностью исключен контакт хладагента с атмосферным воздухом и минимизированы места потенциальных протечек.
Рис. 7. Компенсатор объемного расширения хладагента
Изготовлены МЗУ, модули питания, собран прототип вычислительного блока (рис. 8).
Прототип РВБ «Сегин» состоит из одного ВМ и 11-ти тепловых эквивалентов, позволяющих эмулировать рассеивание тепловой мощности, эквивалентной 11-ти вычислительным модулям.
Рис. 8. Прототип РВБ «Сегин»
Заключение. Таким образом, проверена работоспособность технических решений по созданию РВБ нового поколения с модернизированной иммерсионной системой охлаждения, позволяющей обеспечить отвод тепла до 20 кВт.
Разработанные реконфигурируемые устройства позволяют создавать высокопроизводительные вычислительные системы мирового уровня для решения широкого класса трудоемких научно-технических задач.
БИБЛИОГРАФИЧЕСКИЙ СПИСОК
1. Гузик В.Ф., Каляев И.А., Левин И.И. Реконфигурируемые вычислительные системы: учеб. пособие / под общ. ред. И.А. Каляева. 2016. - Ростов-на-Дону: Изд-во ЮФУ, 2016.
- 472 с. - ISBN 978-5-9275-1980-7.
2. Абрамов Сергей, Амелькин Сергей, Клюев Леонид, Чичковский Александр. Жидкостное охлаждение вычислительных комплексов // Радиоэлектронные технологии. - 2017. - № 5. - С. 79-82.
3. Клюев Леонид, Хребтовский Иван. Опыт построения HPC кластеров IMMERS с использованием погружного жидкостного охлаждения. - http://www2.sscc.ru/Seminars/paper/ 2015/2015-05-14_IMMERS.pdf (дата обращения: 10.10.2019).
4. Levin I.I., Dordopulo A.I., Doronchenko Y.I., Raskladkin M.K., Fedorov A.M., Kalyaev Z.V. Immersion liquid cooling FPGA-based reconfigurable computer system // 14th IFAC International Conference оп Programmable Devices аМ Embedded Systems (PDES 2016), Brno/Lednice, Czech Republic. - 2016. - Vol. No. 3. - Part No. 1. - P. 175-180.
- https://www.sciencedirect.com/science/article/pii/S2405896316327082.
5. Levin I.I., Doronchenko Y.I., Kovalenko A.G., Dordopulo AI. Realization of Problem of Liquid Filtering in Porous Medium on Reconfigurable Computer System // 5th International Conference on Informatics, Electronics & Vision (ICIEV), 13~14 May, 2016, Dhaka, Bangladesh. - Р. 1117-1121.
- Doi: 20.1109/ICIEV/2016.7760173. - https://ieeexplore.ieee.org/document/7760173.
6. Левин И.И., Дордопуло А.И., Федоров А.М., Доронченко Ю.И. Развитие технологии построения реконфигурируемых вычислительных систем с жидкостным охлаждением // Суперкомпьютерные технологии (СКТ-2018): Матер. 5-й Всероссийской научно-технической конференции: в 2 т. Т. 1. - Ростов-на-Дону; Таганрог: Изд-во ЮФУ, 2018.
- С. 184-187. - ISBN 978-5-9275-2834-9.
7. Levin Ilya, Dordopulo Alexey, Fedorov Alexander, Doronchenko Yuriy. High-Performance Reconfigurable Computer Systems with Immersion Cooling // Parallel Computational Technologies (PCT 2018). 12th International Conference (Rostov-on-Don, Russia, April 2-6, 2018). - P. 62-76. - https://link.springer.com/content/pdf/10.1007%2F978-3-319-99673-8_5.pdf (дата обращения: 10.10.2019).
8. Патент № 2643173 на изобретение по заявке № 2016152777. РФ. Иммерсионная система охлаждения для электронных устройств / Левин И.И., Федоров А.М., Удовенко Д.Л. Заявитель и патентообладатель Общество с ограниченной ответственностью «НИЦ супер-ЭВМ и нейрокомпьютеров»; зарегистр. 31.01.2018.
9. Патент № 2683425 на изобретение по заявке № 2018104165. РФ. Система теплообмена для жидкостного охлаждения электронных устройств (варианты) / Левин И.И., Федоров А.М., Удовенко Д.Л. Заявитель и патентообладатель Общество с ограниченной ответственностью «НИЦ супер-ЭВМ и нейрокомпьютеров»; зарегистр. 28.03.2019.
10. Levin Ilya, Dordopulo Alexey, Fedorov Alexander, Doronchenko Yuriy. Design Technology for Reconfigurable Computer Systems with Immersion Cooling / In: Voevodin V., Sobolev S. (eds) // Supercomputing. RuSCDays 2018. Communications in Computer and Information Science. Vol. 965. - Springer, Cham, 2018. - Р. 554-564. - https://link. springer.com/chapter/ 10.1007/978-3-030-05807-4_47.
11. Левин И.И., Дордопуло А.И., Доронченко Ю.И., Федоров А.М. Построение перспективных ре-конфигурируемых вычислительных систем с жидкостным охлаждением // Шестой Национальный Суперкомпьютерный Форум, (НСКФ-2017), ИПС им. А.К. Айламазяна РАН, г. Пере-славль-Залесский, Россия, 28 ноября-01 декабря 2017 г. - http://2017.nscfru/in-fo/Schedule.pdf.
12. Левин И.И., Дордопуло А.И., Федоров А.М. Реконфигурируемые вычислительные системы сверхвысокой производительности с жидкостной системой охлаждения // Матер. Всероссийской научно-практической конференции с международным участием. Технические науки «Аспекты развития науки, образования и модернизации промышленности». Таганрог, 20-21 апреля 2017 г., ДГТУ. - Ростов-на-Дону: ДГТУ, 2017. - С. 67-73. - ISBN 978-5-7890-1329-8.
13. Левин ИИ, Дордопуло А.И., Доронченко Ю.И., Федоров А.М. Перспективные реконфигури-руемые вычислительные системы с жидкостным охлаждением // Матер. 10-й Всероссийской мультиконференции по проблемам управления (МКПУ-2017), 11-16 сентября 2017 г. - Ростов-на-Дону: Изд-во ЮФУ, 2017. - Т. 3. - С. 148-150. - ISBN 978-5-9275-2463-1.
14. Levin I., Dordopulo A., Fedorov A., Doronchenko Y. Design of advanced reconfigurable computer systems with liquid cooling // In: Voevodin V., Sobolev S. (eds) Supercomputing. RuSCDays 2017. Communications in Computer and Information Science. Vol. 793. - Springer, Cham, 2017.
- Р. 442-455. - https://link.springer. com/chapter/10.1007/978-3-319-71255-0_36.
15. Levin I.I., Dordopulo A.I., Fedorov A.M., Gulenok AA. Reconfigurable computer based on Virtex UltraScale+ FPGAs with immersion cooling system // XI международная научная конференция "Параллельные вычислительные технологии (ПаВТ) 2017 (Parallel computational technologies (PCT'2017) agora.guru.ru/pavt)", Казань, Республика Татарстан, Россия, 3-7 апреля 2017 г.
- Челябинск: Изд. центр ЮУрГУ, 2017. - С. 27-41. - ISBN 978-5-696-04880-2. - URL: https://link.springer.com/chapter/10.1007/978-3-319-67035-5_3 (дата обращения: 10.10.2019).
16. Левин И.И., Федоров А.М., Доронченко Ю.И., Раскладкин М.К. Перспективные высокопроизводительные реконфигурируемые вычислители с иммерсионным охлаждением // Всероссийская научная конференция "Суперкомпьютерные технологии (СКТ) 2020": Тр. молодых ученых. 05-10 октября 2020 г.: Крым, Алушта, Россия. - Ростов-на-Дону; Таганрог: Изд-во ЮФУ, 2020. - С. 29-34.
17. Левин Илья, Федоров Александр, Доронченко Юрий, Дордопуло Алексей, Раскладкин Максим. Высокопроизводительный реконфигурируемый вычислительный блок на основе ПЛИС XILINX ULTRASCALE+ // 14th International Conference «Parallel Computational Technologies», PCT 2020, 31 марта-2 апреля 2020 г., Пермь. - Р. 174-184.
- http://omega.sp.susu.ru/pavt2020/short/079.pdf.
18. Каляев И.А., Дордопуло А.И., Левин И.И., Федоров А.М. Развитие отечественных многокристальных реконфигурируемых вычислительных систем: от воздушного к жидкостному охлаждению // Тр. СПИИРАН. - СПб.: Изд-во СПИИРАН ФГБУН Санкт-Петербургский институт информатики и автоматизации РАН, 2017. - № 1 (50). - С. 5-31.
- Doi: 10.15622/sp.50.1 http://dx.doi.org/10.15622/sp.50 (дата обращения: 10.10.2019).
19. Левин И.И., Федоров А.М., Доронченко Ю.И., Раскладкин М.К. Высокопроизводительный реконфигурируемый вычислитель на основе ПЛИС XILINX ULTRASCALE+ для решения сильносвязанных задач // 12-я Мультиконференция по проблемам управления (МКПУ-2019), 23-28 сентября 2019 г., с. Дивноморское, Россия. - Ростов-на-Дону; Таганрог: Изд-во ЮФУ, 2019. - Т. 3. - С. 113-117. - ISBN 978-5-9275-3188-2.
20. Levin I.I., Dordopulo A.I., Fedorov A.M., Gulenok A.A. Reconfigurable computer based on Virtex UltraScale+FPGAs with immersion cooling system / In: Sokolinsky L., Zymbler M. (eds) // Parallel Computational Technologies. PCT 2017. Communications in Computer and Information Science.
- Vol 753. - P. 27-41. - Springer, Cham, 2017. - URL: https://link.springer.com/chapter/ 10.1007/978-3-319-67035-5_3.
21. Kalyaev I.A., Levin I.I., Dordopulo A.I., Slasten L.M. FPGA - based Reconfigurable Computer Systems // Proc. of 2013 Science and Information Conference SAI-2013- Oct 9, 2013, London, UK.
- P. 148-155.
REFERENCES
1. Guzik V.F., Kalyaev I.A., Levin I.I. Rekonfiguriruemye vychislitel'nye sistemy: ucheb. posobie [Reconfigurable computer systems: textbook], study guide end. by I.A. Kalyaeva. 2016. Rostov-on-Don: Izd-vo YuFU, 2016, 472 p. ISBN 978-5-9275-1980-7.
2. Abramov Sergey, Amel'kin Sergey, Klyuev Leonid, CHichkovskiy Aleksandr. Zhidkostnoe okhlazhdenie vychislitel'nykh kompleksov [Liquid cooling of computer complexes], Radioelektronnye tekhnologii [Radio-electronic technologies], 2017, No. 5, pp. 79-82.
3. Klyuev Leonid, Khrebtovskiy Ivan. Opyt postroeniya HPC klasterov IMMERS s ispol'zovaniem pogruzhnogo zhidkostnogo okhlazhdeniya [Design experience of IMMERS HPC clusters with immerse liquid cooling]. Available at: http://www2.sscc.ru/Seminars/paper/2015/2015-05-14_IMMERS.pdf (accessed 10 October 2019).
4. Levin I.I., Dordopulo A.I., Doronchenko Y.I., Raskladkin M.K., Fedorov A.M., Kalyaev Z.V. Immersion liquid cooling FPGA-based reconfigurable computer system, 14th IFAC International Conference on Programmable Devices and Embedded Systems (PDES 2016), Brno/Lednice, Czech Republic, 2016, Vol. No. 3, Part No. 1, pp. 175-180. Available at: https://www.sciencedirect.com/science/article/pii/S2405896316327082.
5. Levin I.I., Doronchenko Y.I., Kovalenko A.G., Dordopulo A.I. Realization of Problem of Liquid Filtering in Porous Medium on Reconfigurable Computer System, 5th International Conference on Informatics, Electronics & Vision (ICIEV), 13~14 May, 2016, Dhaka, Bangladesh, pp. 1117-1121. Doi: 20.1109/ICIEV/2016.7760173. Available at: https://ieeexplore.ieee.org/document/7760173.
6. Levin I.I., Dordopulo A.I., Fedorov A.M., Doronchenko Yu.I. Razvitie tekhnologii postroeniya rekonfiguriruemykh vychislitel'nykh sistem s zhidkostnym okhlazhdeniem [Development of the design technology of reconfigurable computer systems with liquid cooling], Superkomp'yuternye tekhnologii (SKT-2018): Mater. 5-y Vserossiyskoy nauchno-tekhnicheskoy konferentsii [Supercomputer technologies (SCT-2018): Proceedings of the 5th All-Russian scientific and technical conference]: in 2 vol. Vol. 1. Rostov-on-Don; Taganrog: Izd-vo YuFU, 2018, pp. 184-187. ISBN 978-5-9275-2834-9.
7. Levin Ilya, Dordopulo Alexey, Fedorov Alexander, Doronchenko Yuriy. High-Performance Reconfigurable Computer Systems with Immersion Cooling, Parallel Computational Technologies (PCT 2018). 12th International Conference (Rostov-on-Don, Russia, April 2-6, 2018), pp. 62-76. Available at: https://link.springer.com/content/pdf/10.1007%2F978-3-319-99673-8_5.pdf (accessed 10 October 2019).
8. Levin I.I., Fedorov A.M., Udovenko D.L. Patent No. 2643173 for an invention No. 2016152777. Russian Federation. Immersionnaya sistema okhlazhdeniya dlya elektronnykh ustroystv [Immerse cooling system for electronic devices]. Applicant of invention and patent holder is OOO "SRC of supercomputers and neurocomputers"; registered on 31.01.2018.
9. Levin I.I., Fedorov A.M., Udovenko D.L. Patent No. 2683425 for an invention No. 2018104165. Russian Federation. Sistema teploobmena dlya zhidkostnogo okhlazhdeniya elektronnykh ustroystv (varianty) [Heat-transfer system for liquid cooling of electronic devices (variants)]. Applicant of invention and patent holder is OOO "SRC of supercomputers and neurocomputers"; registered on 28.03.2019.
10. Levin Ilya, Dordopulo Alexey, Fedorov Alexander, Doronchenko Yuriy. Design Technology for Reconfigurable Computer Systems with Immersion Cooling, In: Voevodin V., Sobolev S. (eds), Supercomputing. RuSCDays 2018. Communications in Computer and Information Science, Vol. 965. Springer, Cham, 2018, pp. 554-564. Available at: https://link. spring-er.com/chapter/10.1007/978-3-030-05807-4_47.
11. Levin I.I., Dordopulo A.I., Doronchenko Yu.I., Fedorov A.M. Postroenie perspektivnykh rekonfiguriruemykh vychislitel'nykh sistem s zhidkostnym okhlazhdeniem [Design of advanced reconfigurable computer systems with liquid cooling], Shestoy Natsional'nyy Superkomp'yuternyy Forum, (NSKF-2017), IPS im. A.K. Aylamazyana RAN, g. Pereslavl'-Zalesskiy, Rossiya, 28 noyabrya-01 dekabrya 2017 g. [6th National Supercomputer Forum, (NSCF-2017), Program Systems Institute of the RAS, Pereslavl-Zalesskiy, Russia, November 28 - December 01, 2017]. Available at: http://2017.nscf.ru/in-fo/Schedule.pdf.
12. Levin I.I., Dordopulo A.I., Fedorov A.M. Rekonfiguriruemye vychislitel'nye sistemy sverkhvysokoy proizvoditel'nosti s zhidkostnoy sistemoy okhlazhdeniya [Super-high performance reconfigurable computer systems with liquid cooling], Mater. Vserossiyskoy nauchno-prakticheskoy konferentsii s mezhdunarodnym uchastiem. Tekhnicheskie nauki «Aspekty razvitiya nauki, obrazovaniya i modernizatsii promyshlennosti». Taganrog, 20-21 aprelya 2017 g., DGTU [Proceedings of All-Russian scientific and practical conference with international participance. Technical sciences "Development aspects of science, education and modernization of industry". Taganrog, April 20-21, 2017., DSTU]. Rostov-on-Don: DGTU, 2017, pp. 67-73. ISBN 978-5-7890-1329-8.
13. Levin I.I., Dordopulo A.I., Doronchenko Yu.I., Fedorov A.M. Perspektivnye rekonfiguriruemye vychislitel'nye sistemy s zhidkostnym okhlazhdeniem [Advanced reconfigurable computer systems with liquid cooling], Mater. 10-y Vse-rossiyskoy mul'tikonferentsii po problemam upravleniya (MKPU-2017), 11-16 sentyabrya 2017 g. [Proceedings of the 10th All-Russian multi-conference on problems of control (MCPC-2017), September 11-16, 201]. Rostov-on-Don: Izd-vo YuFU, 2017, Vol. 3, pp. 148-150. ISBN 978-5-9275-2463-1.
14. Levin I., Dordopulo A., Fedorov A., Doronchenko Y. Design of advanced reconfigurable computer systems with liquid cooling, In: Voevodin V., Sobolev S. (eds) Supercomputing. RuSCDays 2017. Communications in Computer and Information Science, Vol. 793. Springer, Cham, 2017, pp. 442-455. Available at: https://link.springer. com/chapter/10.1007/978-3-319-71255-0_36.
15. Levin I.I., Dordopulo A.I., Fedorov A.M., Gulenok A.A. Reconfigurable computer based on Virtex UltraScale+ FPGAs with immersion cooling system, XI mezhdunarodnaya nauchnaya konferentsiya "Parallel'nye vychislitel'nye tekhnologii (PaVT) 2017 (Parallel computational technologies (PCT'2017) agora.guru.ru/pavt)", Kazan', Respublika Tatarstan, Rossiya, 3-7 aprelya 2017 g. [XI international scientific conference "Parallel computational technologies (PCT'2017) agora.guru.ru/pavt)", Kazan, Republic of Tatarstan, Russia, April 3-7, 2017]. Chelyabinsk: Izd. tsentr YuUrGU, 2017, pp. 27-41. ISBN 978-5-696-04880-2. Available at: https://link.springer.com/chapter/10.1007/978-3-319-67035-5_3 (accessed 10 October 2019).
16. Levin I.I., Fedorov A.M., Doronchenko Yu.I., Raskladkin M.K. Perspektivnye vysoko-proizvoditel'nye rekonfiguriruemye vychisliteli s immersionnym okhlazhdeniem [ Advanced high-performance reconfigurable computers with immersion cooling], Vserossiyskaya nauchnaya konferentsiya "Superkomp'yuternye tekhnologii (SKT) 2020": Tr. molodykh uchenykh. 05-10 oktyabrya 2020 g.: Krym, Alushta, Rossiya [All-Russian scientific conference "Supercomputer technologies (SCT) 2020". Proceedings of young scientists. October 05-10, 2020: Crimea, Alushta, Russia]. Rostov-on-Don; Taganrog: Izd-vo YuFU, 2020, pp. 29-34.
17. Levin Il'ya, Fedorov Aleksandr, Doronchenko Yuriy, Dordopulo Aleksey, Raskladkin Maksim. Vysokoproizvoditel'nyy rekonfiguriruemyy vychislitel'nyy blok na osnove PLIS XILINX ULTRASCALE+ [High-performance reconfigurable computational block based on XILINX ULTRASCALE+ FPGAs], 14th International Conference «Parallel Computational Technologies», PCT 2020, 31 marta-2 aprelya 2020 g., Perm' [14th International Conference "Parallel Computational Technologies", PCT 2020, March 31 - April 2, 2020, Perm], pp. 174-184. Available at: http://omega.sp.susu.ru/pavt2020/short/079.pdf.
18. Kalyaev I.A., Dordopulo A.I., Levin I.I., Fedorov A.M. Razvitie otechestvennykh mnogokristal'nykh rekonfiguriruemykh vychislitel'nykh sistem: ot vozdushnogo k zhidkostnomu okhlazhdeniyu [Development of domestic multichip reconfigurable computer systems: from air to liquid cooling], Tr. SPIIRAN[Proceedings of SPIIRAS]. Saint Petersburg: Izd-vo SPIIRAN FGBUN Sankt-Peterburgskiy institut informatiki i avtomatizatsii RAN, 2017, No. 1 (50), pp. 5-31. Doi: 10.15622/sp.50.1. Available at: http://dx.doi.org/10.15622/sp.50 (accessed 10 October 2019).
19. Levin I.I., Fedorov A.M., Doronchenko Yu.I., Raskladkin M.K. Vysokoproizvoditel'nyy rekonfiguriruemyy vychislitel' na osnove PLIS XILINX ULTRASCALE+ dlya resheniya sil'nosvyazannykh zadach [High-performance reconfigurable computer based on XILINX ULTRASCALE+ FPGAs for tightly-coupled tasks], 12-ya Mul'tikonferentsiya po problemam upravleniya (MKPU-2019), 23-28 sentyabrya 2019 g., s. Divnomorskoe, Rossiya [12th Multiconference on problems of control (MCPC-2019), September 23-28, 2019, Divnomoskoye, Russia]. Rostov-on-Don; Taganrog: Izd-vo YuFU, 2019, Vol. 3, pp. 113-117. ISBN 978-5-9275-3188-2.
20. Levin I.I., Dordopulo A.I., Fedorov A.M., Gulenok A.A. Reconfigurable computer based on Virtex UltraScale+FPGAs with immersion cooling system, In: Sokolinsky L., Zymbler M. (eds), Parallel Computational Technologies. PCT 2017. Communications in Computer and Information Science, Vol 753, pp. 27-41. Springer, Cham, 2017. Available at: https://link. springer. com/chapter/10.1007/978-3-319-67035-5_3.
21. Kalyaev I.A., Levin I.I., Dordopulo A.I., Slasten L.M. FPGA - based Reconfigurable Computer Systems, Proc. of 2013 Science and Information Conference SAI-2013- Oct 9, 2013, London, UK, pp. 148-155.
Статью рекомендовал к опубликованию д.т.н. Э.В. Мельник.
Левин Илья Израилевич - Общество с ограниченной ответственностью «НИЦ супер-ЭВМ и нейрокомпьютеров»; e-mail: levin@superevm.ru; 347900, г. Таганрог, пер. Итальянский, 106; тел.: +78634612111; директор; д.т.н.; профессор.
Федоров Александр Михайлович - e-mail: fedorov@superevm.ru; начальник отдела.
Доронченко Юрий Иванович - e-mail: doronchenko@superevm.ru; технический директор; к.т.н.
Раскладкин Максим Константинович - e-mail: raskladkin@superevm.ru; начальник отдела; к.т.н.
Levin Ilya Izrailevitch - OOO "SRC of supercomputers and neurocomputers"; e-mail: lev-in@superevm.ru; 106, Italyanskiy street, Taganrog, 347900, Russia; phone: +78634612111; director; dr. of eng. sc.; professor.
Fedorov Alexander Mikhailovitch - e-mail: fedorov@superevm.ru; head of department.
Doronchenko Yuriy Ivanovitch - e-mail: doronchenko@superevm.ru; technical director; cand. of eng. sc.
Raskladkin Maxim Konstantinovitch - e-mail: raskladkin@superevm.ru; head of department; cand. of eng. sc.
УДК 681.3+004.32 Б01 10.18522/2311-3103-2020-7-19-34
Е.А. Титенко, Е.В. Талдыкин
КОММУТАЦИОННАЯ МОДЕЛЬ ПАРАЛЛЕЛЬНЫХ СРАВНЕНИЙ ЭЛЕМЕНТОВ ДЛЯ ПРОДУКЦИОННЫХ СИСТЕМ, УПРАВЛЯЕМЫХ
ПОТОКОМ ДАННЫХ
В статье достигается цель - сокращение временных затрат на генерацию сочетаний элементов множества. Элементы множества формируются из образцов (левых частей) продукционных правил. Основная задача заключается в построении эффективных по времени схем (алгоритмов) параллельной генерации сочетаний элементов массива. Применительно к продукционным системам такие схемы необходимы для активации подмножества продукций, применимых к символьным данным на текущем шаге. За основу взят и развит известный алгоритм параллельного пузырька. Схема коммутации «параллельный пузырек» состоит из двух чередующихся вариантов коммутации элементов в пары. Эти коммутации основаны на локальном объединении в пары элементов массива, имеющих смежные индексы. Такое локальное объединение элементов в пары приводит к «малым» перемещениям элементов по длине массива и регулярному характеру генерации пар. В каждой паре выполняется операция сравнения-обмена операндов. Для продукционных систем операция сравнения сводится к поиску пересечений образцов и формированию списка конфликтных слов. Сокращение времени генерации сочетаний основывается на построении вариантов коммутации с распределенным объединением элементов в пары с шагом, равным 4. Разработанная схема коммутации содержит на нечетных шагах коммутации с локальным объединением элементов в пары. На четных шагах выполняется коммутация-ускоритель с распределенным объединением элементов в пары. Моделирование работы разработанной схемы коммутации осуществлялось на типовых задачах сортировки и полного перебора пар элементов. Установлено сокращение временных затрат по сравнению с четно-нечетной сортиовкой на 15-18 %. В работе определена линейная зависимость времени сортировки с углом наклона меньше 1. Это позволяет использовать схему коммутации для продукционных систем большого размера. Локальные и распределенные связи в схеме коммутации сохраняют свойство регулярности. Эта особенность определяет аппаратную реализацию схемы в виде параллельного коммутатора с естественным масштабированием. Данная схема может использоваться в специализированном продукционном устройстве для декомпозиции продукционной системы на независимые подмножества продукций.
Параллельная сортировка; схема коммутаций; однородное устройство.
