Погружная система охлаждения реконфигурируемых вычислительных систем на основе ПЛИС

Левин Илья Израилевич; Дордопуло Алексей Игоревич; Доронченко Юрий Иванович; Раскладкин Максим Константинович; Федоров Александр Михайлович

УДК 004.73

И. И. Левин, А. И. Дордопуло, Ю. И. Доронченко, М. К. Раскладкин, А. М. Федоров

Погружная система охлаждения реконфигурируемых вычислительных систем на основе ПЛИС

Аннотация. В статье проанализированы проблемы построения перспективных реконфигурируемых вычислительных систем c жидкостным охлаждением для программируемых логических интегральных схем семейства Xilinx Virtex UltraScale.

Подробно рассматриваются архитектура, компоновка и сравнительные технические характеристики систем погружного жидкостного охлаждения. Приводятся результаты расчетов, макетирования и экспериментальной проверки основных технических решений созданного энергоэффективного вычислительного модуля нового поколения для построения высокопроизводительных вычислительных систем с жидкостным охлаждением с производительностью 1 Пфлопс в стандартном вычислительном шкафу высотой 47U при потребляемой мощности 150 кВт. Разработанные решения обладают резервом мощности для выпускаемых и проектируемых семейств ПЛИС, нечувствительностью к протечкам и их последствиям и совместимостью с традиционными системами водяного охлаждения на базе промышленных чиллеров.

Ключевые слова и фразы: реконфигурируемые вычислительные системы, программируемые логические интегральные схемы, жидкостное охлаждение, вычислительный модуль, высокопроизводительные вычислительные системы, реальная и удельная производительность, энергоэффективность.

Введение

На пути достижения высокой реальной производительности вычислительной системы важным шагом является адаптация ее архитектуры под структуру решаемой задачи для создания специализированного вычислительного устройства, аппаратно реализующего все

вычислительные операции информационного графа задачи с наименьшими задержками. При этом универсализм в плане решаемых задач, т.е. возможность изменения решаемой задачи или ее алгоритма, является таким же необходимым требованием к вычислительной системе, как и ее проблемноориентированность. Устранить эти противоречия, совместив создание специализированного вычислительного устройства с широким кругом решаемых задач, можно в концепции реконфигури-руемых вычислительных систем (РВС) на основе программируемых логических интегральных схем (ПЛИС), которые используются в качестве основного вычислительного ресурса.

РВС, содержащие большие вычислительные поля ПЛИС, находят применение при решении вычислительно трудоемких задач в различных областях науки и техники, поскольку обладают рядом существенных преимуществ по сравнению с многопроцессорными вычислительными системами кластерной архитектуры: высокими реальной и удельной производительностями, высокой энергоэффективностью и др. Так, специализированные реконфигурируемые вычислительные системы Janus [1] и Janus2, используемые для расчета спиновых стекол, позволяют получить более чем 100-кратное ускорение по сравнению с коммерчески-доступными кластерными системами. Суперкомпьютер Anton [2], построенный на специализированных микросхемах ASIC, ускоряет решение задач молекулярной динамики более чем в 1000 раз.

В НИЦ СЭ и НК разрабатываются и производятся РВС, в которых основным вычислительным ресурсом являются не микропроцессоры, а множество кристаллов ПЛИС, объединенных в вычислительные поля высокоскоростными каналами передачи данных. Спектр выпускаемых и проектируемых изделий достаточно широк: от полностью автономных малогабаритных реконфигурируемых ускорителей (вычислительных блоков), вычислительных модулей в настольном или стоечном конструктивном исполнении («Ригель» на основе Xilinx Virtex-6, «Тайгета» на основе Xilinx Virtex-7) [3] до вычислительных систем, состоящих из нескольких вычислительных шкафов, размещаемых в специально оборудованном машинном зале. Основными отличительными особенностями производимых РВС являются высокая плотность компоновки элементов и высокая (не менее 90%) степень заполнения кристаллов ПЛИС, что обеспечивает высокую удельную энергоэффективность данных систем.

Практический опыт эксплуатации больших вычислительных комплексов на основе РВС показывает, что воздушные системы охлаждения подошли к своему тепловому пределу. Постоянное как минимум двукратное увеличение степени интеграции и 1,5-кратное увеличение тактовой частоты при выходе очередного семейства кристаллов ПЛИС фирмы Xilinx приводит к существенному росту потребляемой мощности и к увеличению максимального значения температуры на кристалле. Согласно полученным экспериментальным данным переход от семейства ПЛИС Virtex-6 к следующему семейству ПЛИС Virtex-7 ведет к росту максимальной температуры ПЛИС на 11 ^ 15°С, поэтому дальнейшее развитие технологий изготовления ПЛИС и переход на следующее семейство ПЛИС Virtex Ultra Scale, содержащих порядка 100 млн. эквивалентных вентилей и обладающих энергопотреблением не менее 100 Вт на кристалл ПЛИС, приведут к росту величины перегрева ПЛИС на дополнительные 10 ^ 15°С, что сместит зону их рабочей температуры до 80 ^ 85° С с выходом за допустимые пределы рабочей температуры ПЛИС (65 ^ 70°С) и негативно скажется на их надежности при заполнении кристаллов на 85 ^ 95% от доступного аппаратного ресурса. Это обстоятельство потребовало перехода к принципиально иному способу охлаждения, позволившему сохранить темпы роста производительности РВС для перспективных проектируемых семейств ПЛИС фирмы Xilinx: Virtex UltraScale, Virtex UltraScale+, Virtex UltraScale2 и др.

1. Жидкостное охлаждение для реконфигурируемых вычислительных систем

Технологии жидкостного охлаждения серверов и отдельных вычислительных модулей в настоящее время разрабатывают многие компании, некоторые из них добились определенных успехов в данном направлении [4-6]. Однако эти технологии предназначены для охлаждения вычислительных модулей, содержащих один-два микропроцессора, а предпринятые попытки их адаптации для охлаждения вычислительных модулей, содержащих большое число тепловыделяющих элементов (поле ПЛИС из восьми кристаллов), выявили ряд недостатков для жидкостного охлаждения вычислительных модулей РВС.

Основными недостатками существующих технологий погружного жидкостного охлаждения для вычислительных модулей, содержащих поле ПЛИС, являются:

• охлаждающая система плохо адаптирована для установки в стандартные вычислительные стойки;

• охлаждение кристаллов электронных компонентов со значительным (свыше 50 Вт) тепловыделением неэффективно;

• при долговременной эксплуатации наблюдается вымывание термопасты между микросхемами ПЛИС и радиаторами;

• система циркуляции охлаждающей жидкости внутри рабочего модуля разработана для одного-двух кристаллов, а не для поля ПЛИС, что приводит к созданию значительных температурных градиентов;

• в предлагаемых по технологии 1ММЕИ,8 [4] системах весь объем охлаждающей жидкости циркулирует по замкнутому контуру через охладитель, что создает ряд проблем;

• необходимость остановки эксплуатации вычислительного комплекса для вывода из эксплуатации отдельных электронных компонентов и устройств;

• необходимость применения мощного специализированного насосного и гидравлического оборудования, адаптированного к охлаждающей жидкости;

• сложная система управления циркуляции охлаждающей жидкости, приводящая к периодическим сбоям.

• высокая стоимость охлаждающей жидкости, производимой только одним предприятием-поставщиком.

Перечисленные недостатки в той или иной мере можно отнести и к другим существующим системам жидкостного охлаждения открытого типа, поскольку охлаждение вычислительных модулей РВС, содержащих не менее восьми кристаллов ПЛИС, по сравнению с охлаждением одного микропроцессора обладает специфическими особенностями.

Особенностями выпускаемых в Научно исследовательском центре супер-ЭВМ и нейрокомпьютеров РВС являются наличие не менее 6-8 кристаллов ПЛИС на одной печатной плате и высокая плотность компоновки платы, что существенно увеличивает число тепловыделяющих элементов по сравнению с микропроцессорными модулями. Это затрудняет применение как технологии непосредственного жидкостного охлаждения 1ММЕИ8, так и других готовых решений погружных систем и требует дополнительных технических и конструктивных решений для эффективного охлаждения вычислительных модулей РВС.

2. Особенности построения иммерсионных систем

охлаждения электронных устройств на основе ПЛИС

В основу критериев проектирования вычислительного модуля (ВМ) нового поколения для РВС с жидкостным охлаждением открытого типа были положены следующие принципы:

• основой конфигурации вычислительного шкафа является вычислительный модуль с размерами 3и на 19" и автономной циркуляцией охлаждающей жидкости;

• в одном вычислительном шкафу стандартной высоты 47и должно размещаться не менее 12 вычислительных модулей с жидкостным охлаждением;

• в одном вычислительном модуле должно размещаться 12-16 плат с установленными на них кристаллами ПЛИС;

• на каждой печатной плате должно быть размещено до восьми ПЛИС с выделяемым тепловым потоком порядка 100 Вт от каждой ПЛИС;

• для охлаждения жидкости должна использоваться традиционная система водяного охлаждения на базе промышленных чиллеров.

Заданные критерии проектирования ВМ нового поколения поставили ряд сложных технических задач и потребовали нетрадиционного подхода к их решению [7].

Основным элементом любой жидкостной системы охлаждения является охлаждающая жидкость (хладагент). Иммерсионная система охлаждения электронных компонентов вкупе с заданными условиями проектирования ВМ нового поколения определили основные критерии, которыми должна обладать охлаждающая жидкость:

• диэлектрик с наилучшей электрической прочностью;

• максимально возможное удельное электрическое сопротивление

• высокая теплопроводность;

• максимально возможная теплоемкость;

• минимальная вязкость;

• максимальная температура вспышки;

• стойкость к окислению и старению;

• малоопасная по степени воздействия на организм человека;

• экологически безопасная;

• взрыво- и пожаробезопасная;

• безопасность при транспортировке, хранении и утилизации;

• длительный срок службы;

Рис. 1. Технологический образец вычислительного модуля с погружной системой жидкостного охлаждения открытого типа

• изготовление на предприятии, обеспечивающем стабильное качество и необходимые объемы продукта;

• невысокая стоимость.

Исследования маловязких диэлектриков, используемых для охлаждения электронных компонентов ЭВМ, проведенные НИЦ СЭ и НК, определили в качестве базового хладагента масло маловязкое диэлектрик — продукт дополнительной переработки трансформаторного масла: «Масло маловязкое диэлектрик МД-4,5 для охлаждения электронных компонентов ЭВМ». На него разработаны технические условия ТУ 38.401-58-421-2015. Производство данного хладагента освоено отечественными предприятиями в необходимых объемах.

Циркуляцию хладагента в ВМ необходимо организовать по замкнутому контуру с минимальным количеством гидравлических сопротивлений и с учетом технологических возможностей изготовления ВМ. Фитинги и соединения отдельных узлов предложенной системы циркуляции охлаждающей жидкости должны иметь минимальные длину и шероховатость, максимальные сечения с целью минимизировать возникающие гидравлические сопротивления. Исследования, проведенные в теплотехнической лаборатории НИЦ СЭ и НК, выявили необходимость строгой организации потока хладагента внутри ВМ, где основными тепловыделяющими элементами являются ПЛИС и блоки питания. При этом выделяемая тепловая мощность блоков питания в 3-4 раза меньше, чем у ПЛИС. Эксплуатационный ресурс ПЛИС существенно зависит от температуры нагрева ее кристалла, и основная задача организации охлаждения реконфигурируемого вычислительного блока — добиться максимально возможного снижения температуры кристалла ПЛИС. Исследования И. И. Левин, А. И. Дордо-пуло, Ю.И. Доронченко,реконфигурируемых вычислительных систем

на основе ПЛИС Xilinx VIRTEX-7, проведенные в теплотехнической лаборатории НИЦ СЭ и НК, позволили сделать вывод, что в открытой системе охлаждения при принятой архитектуре базового модуля для организации теплоотвода от блоков питания достаточно остаточной (после охлаждения ПЛИС) циркуляции хладагента. Поэтому основной поток хладагента необходимо направить на наиболее нагретые элементы плат — ПЛИС. «Свободная» циркуляция хладагента внутри ВМ не обеспечивает необходимое охлаждение ПЛИС. Специалистами НИЦ СЭ и НК был разработан и изготовлен технологический образец ВМ (рис. 1) согласно предложенной схеме организации циркуляции охлаждающей жидкости.

Эксплуатация технологического образца ВМ подтвердила работоспособность и высокую эффективность принятых технических решений по обеспечению стабильного охлаждения всех нагреваемых элементов плат ВМ, созданию оптимальных условий для его эксплуатации, технического обслуживания и вывода в ремонт.

В теплотехнической лаборатории НИЦ СЭ и НК были проведены детальные исследования организации циркуляции хладагента в зоне расположения ПЛИС в системе жидкостного охлаждения открытого типа в ВМ. На первоначальном этапе была выявлена необходимость использования радиаторов: при существующих теплотехнических параметрах хладагента и достижимых характеристиках насоса (в заданных габаритах ВМ) невозможно обеспечить приемлемую температуру ПЛИС (63°С) без радиаторов. Кристалл ПЛИС, производящий тепло, имеет небольшие размеры. Чтобы увеличить площадь контакта ПЛИС с охлаждающей жидкостью, на него устанавливается радиатор с большой поверхностью теплосъема. Определены основные требования к радиаторам:

• минимальные габариты;

• максимальная поверхность теплосъема;

• возможность нанесения термоинтерфейса;

• возможность организации циркуляции хладагента через радиатор;

• турбулизация потока хладагента в радиаторе;

• технологичность в изготовлении;

• невысокая стоимость.

Кроме того, была выявлена тесная взаимосвязь эффективности организации циркуляции хладагента от конструкции радиаторов, т.е. для каждого конструктива радиатора эффективна своя циркуляция

теплоносителя. Общие закономерности были определены. Поэтому задача разработки радиатора решалась комплексно с задачей организации циркуляции хладагента через радиатор. Специалистами НИЦ СЭ и НК были проведены теплотехнические расчеты и предложена принципиально новая конструкция радиатора с оригинальными ламе-лями, которые позволяют осуществлять местное закручивание потока хладагента, переводя его из ламинарного в условно турбулентный поток. Общая высота такого радиатора с крышкой, обеспечивающей оптимальную циркуляцию хладагента через него, составила 13,5 мм, что позволило обеспечить требуемую плотность компоновки плат в ВМ.

Одновременно с разработкой радиатора проводились исследования различных видов термоинтерфейса. Были определены основные требования к термоинтерфейсу, который должен:

• не деградировать в хладагенте;

• не вымываться хладагентом;

• иметь стабильно высокий коэффициент теплопроводности;

• обеспечивать легкий демонтаж и последующий монтаж радиатора;

• иметь невысокую стоимость.

В НИЦ СЭ и НК был разработан эффективный термоинтерфейс, удовлетворяющий заданным требованиям, и детально отработана технология его нанесения и удаления. При этом термическое сопротивление системы для теплоперехода: кристалл ПЛИС-термоинтерфейс ПЛИС-крышка ПЛИС-термоинтерфейс между крышкой ПЛИС и радиатором-радиатор-хладагент при тепловом потоке, рассеиваемым с кристалла ПЛИС с выделяемой тепловой мощностью 44,6 Вт, в рассматриваемых условиях исследований составило 0,41оС/Вт. Для сравнения: при бестермоинтерфейсном монтаже радиатора термическое сопротивление для той же системы составило 0,61оС/Вт.

Немаловажное значение в системе охлаждения ВМ играет насосное оборудование. При детальном ознакомлении с номенклатурой рынка насосного оборудования выявились следующие критерии, которые необходимо учитывать при подборе насоса:

• обеспечение расчетных рабочих характеристик;

• габаритные размеры насоса (не более 3и, т.е.) и согласованное расположение входного и выходного патрубков должны обеспечивать подключение теплообменника и вычислительной секции в заданных габаритах с учетом обеспечения возможностей монтажа и технического обслуживания ВМ;

• насос должен быть рассчитан на работу с нефтепродуктами определенной вязкости и химического состава;

• непрерывный режим эксплуатации насоса;

• вибрации, возникающие при работе насоса, должны быть минимальны;

• насос должен иметь минимальный допустимый кавитационный запас;

• класс защиты электродвигателя насоса должен быть не хуже

1Р-55;

• сроки проведения технического обслуживания насоса должны быть максимально возможными;

• уровень шума, создаваемый насосом, должен быть минимальный.

Протестировав ряд различных насосов, специалисты НИЦ СЭ и НК подобрали насос, удовлетворяющий требуемым параметрам, и после доработки использовали его в конструкции ВМ.

Не менее значимым элементом системы охлаждения ВМ является теплообменник, который должен удовлетворять следующим требованиям:

• компактности конструкции;

• оптимальной теплопередаче;

• высокой турбулентности течения (эффективный теплообмен);

• простоте применения;

• варьируемой термической длине (оптимизация потери напора и эффективности теплообмена).

И. И. Левин, А. И. Дордопуло, Ю. И. Доронченко, В рассматриваемой системе охлаждения ВМ использован пластинчатый теплообменник, разработанный для охлаждения минеральных масел в гидравлических системах промышленного оборудования. Пластины теплообменника образуют специальные каналы особой конфигурации для наиболее эффективной теплоотдачи маловязких сред воде.

С целью минимизации деградации хладагента в процессе эксплуатации ВМ необходимо ограничить контакт хладагента с воздухом, поэтому контур его циркуляции является герметичным. Чтобы компенсировать увеличение объема хладагента, в ВМ предусмотрен компенсатор объемного расширения хладагента.

Система охлаждения ВМ должна обеспечивать постоянный отвод тепла хладагентом от нагреваемых электронных компонентов рабочих модулей и передачу избыточного теплового потока через теплообменник вторичному теплоносителю — воде.

Рис. 2. Эскиз вычислительной системы на основе жидкостного охлаждения (а — эскиз ВМ нового поколения, б — эскиз вычислительного шкафа)

Для выполнения данной функции подсистемой охлаждения необходимо безусловное выполнение следующих условий:

• наличие достаточного количества хладагента;

• наличие циркуляции хладагента;

• хладагент должен поступать к нагретым электронным компонентам рабочих модулей охлажденным.

За выполнением этих условий отвечает система контроля тепловых режимов, в которую входят датчики уровня, протока, температуры хладагента, а также аппаратный контроль температуры ПЛИС.

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.

Использование результатов исследований, производительного оборудования и оптимального построения системы охлаждения позволило создать энергоэффективный ВМ с возможностью модульной реализации погружной системы жидкостного охлаждения электронных компонентов вычислительных систем.

3. Реконфигурируемая вычислительная система на основе ПЛИС ЖНшк UltraScale с иммерсионной системой охлаждения

Основным элементом модульной реализации погружной системы жидкостного охлаждения электронных компонентов вычислитель-

ных систем открытого типа является реконфигурируемый вычислительный модуль нового поколения (рис. 2-а). ВМ нового поколения состоит из вычислительной секции, теплообменной секции, корпуса, насоса, теплообменника и штуцера. В корпусе, образующем основу вычислительной секции, размещены герметичный контейнер с диэлектрической охлаждающей жидкостью, содержащий электронные устройства с компонентами, которые выделяют тепло в процессе работы. В качестве электронных устройств могут быть вычислительные модули (не менее 12-16 шт.), платы управления, ОЗУ, блоки питания, накопители, дочерние платы и т.д. Сверху вычислительная секция закрыта крышкой.

К вычислительной секции примыкает теплообменная секция, содержащая насос и теплообменник. Насос обеспечивает циркуляцию хладагента в ВМ по следующему замкнутому контуру: из вычислительного модуля нагретый хладагент поступает в теплообменник, охлаждается там, из теплообменника охлажденный хладагент вновь поступает в вычислительный модуль, охлаждает там нагретые электронные компоненты, там же нагревается и затем вновь поступает в теплообменник и т.д. Теплообменник подключен к внешнему тепло-обменному контуру через штуцеры и предназначен для охлаждения хладагента с помощью вторичной охлаждающей жидкости. В качестве вторичной охлаждающей жидкости можно использовать обыкновенную воду, охлаждаемую промышленным чиллером. При этом чиллер может располагаться вне здания серверной и соединяться с рекон-фигурируемыми вычислительными модулями через стационарную систему инженерных коммуникаций. Эскиз вычислительного шкафа с установленными ВМ представлен на рис. 2-б.

Вычислительная и теплообменная секции механически соединены между собой, образуя единый реконфигурируемый вычислительный модуль. Для эксплуатации реконфигурируемого вычислительного модуля требуется подключение к источнику вторичной охлаждающей жидкости (через краны), к источнику энергоснабжения и к сетевому концентратору (через электрические разъемы).

В корпусе вычислительного шкафа ВМ размещены друг над другом. Их количество ограничивается линейными размерами шкафа, техническими возможностями помещения вычислительного зала и подводимых инженерных коммуникаций.

Каждый ВМ вычислительного шкафа подключается к источнику вторичной охлаждающей жидкости с помощью подающих обратных

коллекторов через штуцеры (или балансировочные клапаны) и гибкие трубопроводы; подключение к источнику энергоснабжения и сетевому концентратору осуществляется через электрические разъемы. Через штуцеры (или балансировочные клапаны) подают холодную и отводят нагретую вторичную охлаждающую жидкость в стационарную систему инженерных коммуникаций, подключенную к шкафу. Множество вычислительных шкафов, размещенных в одном или нескольких помещениях, образует вычислительный комплекс. Для эксплуатации вычислительный комплекс также подключается к источнику вторичной охлаждающей жидкости, к источнику энергоснабжения, модулю управления вычислительным комплексом.

Рассмотренная модульная реализация системы жидкостного охлаждения электронных компонентов вычислительных систем открытого типа, кроме свойственных системам открытого типа достоинств, обладает рядом дополнительных преимуществ:

• платы вычислительных модулей и реконфигурируемые вычислительные модули идентичны, относительно автономны и взаимозаменяемы. При выходе из строя одного ВМ или при необходимости проведения профилактических работ нет необходимости полностью отключать вычислительный шкаф и останавливать решение задачи;

• достигается повышенная плотность компоновки ПЛИС в ВМ;

• предложенное техническое решение позволяет при необходимости наращивать производительность реконфигурируемых вычислительных модулей без кардинального увеличения габаритных размеров (более производительные насос и теплообменник позволяют вписаться в выбранные габариты). Увеличение количества плат вычислительных модулей незначительно увеличит размер реконфи-гурируемого вычислительного модуля по глубине при неизменной плотности компоновки.

В силу простоты конструкции теплообменной секции реконфи-гурируемого вычислительного модуля значительно повышается его надежность.

Согласно проведенным расчетам использование жидкостного охлаждения и построение вычислительных систем на основе ВМ «Скат» обеспечивают сверхпетафлопсную производительность одного вычислительного шкафа РВС.

ТАБЛИЦА 1. Производительность и потребляемая мощность перспективной РВС на основе ПЛИС Xilinx Ultra-Scale

Характеристика

Значение

Производительность ВМ «Скат» 105 Тфлопс

Производительность вычислительной стойки на основе 1 Пфлопс ВМ «Скат»

Потребляемая мощность ВМ «Скат» 13 кВт

Потребляемая мощность вычислительной стойки на ос- 150 кВт нове ВМ «Скат»

Вычислительный 19" шкаф суперкомпьютера, эскиз которого представлен на рис. 2-б, может содержать до 12 ВМ нового поколения с жидкостным охлаждением. В таблице 1 приведены производительность и потребляемая мощность перспективной РВС на основе ПЛИС Xilinx UltraScale.

В настоящее время проводится опытная эксплуатация созданного технологического образца вычислительного модуля «Скат» с жидкостным охлаждением с целью определения предельно допустимых значений эксплуатационных параметров при различных предполагаемых режимах эксплуатации (рис. 1).

На основе представленного конструктивного исполнения в 2017 году будут созданы сверхвысокопроизводительные вычислительные комплексы с эффективным охлаждением вычислительных ПЛИС как для семейства Xilinx Virtex UltraScale, так и следующего прогнозируемого семейства Xilinx Virtex UltraScale+.

Заключение

Использование воздушных систем охлаждения для разрабатываемых суперкомпьютеров практически достигло своего предела, что обусловлено снижением эффективности охлаждения с ростом потребляемой (и отдаваемой) мощности, вызванным увеличением степени интеграции кристаллов микропроцессоров и других микросхем. Поэтому использование жидкостного охлаждения для организации работы современных вычислительных систем является приоритетным направлением совершенствования систем охлаждения с широкими

перспективами дальнейшего развития. Жидкостное охлаждение вычислительных модулей РВС, содержащих не менее восьми кристаллов ПЛИС с высокой плотностью компоновки, обладает спецификой по сравнению с охлаждением кристаллов микропроцессоров, что требует разработки специализированной погружной системы охлаждения. Разработанная оригинальная жидкостная система охлаждения для вычислительного модуля РВС нового поколения позволяет обеспечить высокие эксплуатационные показатели системы — максимальную температуру ПЛИС, не превышающую 55°С при температуре хладагента не более 300С в рабочем режиме. Полученные прорывные решения погружной системы жидкостного охлаждения позволяют в пределах одного вычислительного шкафа высотой 47U разместить не менее 12 ВМ нового поколения с суммарной производительностью свыше 1 Пфлопс. Резерв мощности системы жидкостного охлаждения ВМ нового поколения позволяет обеспечить эффективное охлаждение не только для существующих, но и для проектируемых перспективных семейств ПЛИС фирмы Xilinx UltraScale+ и UltraScale 2.

Список литературы

[1] M. Baity-Jesi et al. "The Janus Project: Boosting Spin-Glass Simulations using FPGAs", 12th 1FAC Conference on Programmable Devices and Embedded Systems, IFAC Proceedings Volumes, 46:28 (2013), pp. 227-232. t 66

[2] D. E. Shaw et al. "Anton, a special-purpose machine for molecular dynamics simulation", 34th International Symposium on Computer Architecture (1SCA 2007) (June 9-13, 2007, San Diego, California, USA), Commun. ACM, 51:7 (2008), pp. 91-97. t 66

[3] 1. A. Kalyaev, 1.1. Levin, A. 1. Dordopulo, L. M. Slasten. "Reconfigurable Computer Systems Based on Virtex-6 and Virtex-7 FPGAs", 12th 1FAC Conference on Programmable Devices and Embedded Systems, IFAC Proceedings Volumes, 46:28 (2013), pp. 210-214. t 66

[4] Высокопроизводительная вычислительная система IMMERS 6 R4 (дата доступа: 10.06.2016), URL: http://immers.ru/sys/immers660/ t 67,68

[5] Высокоплотные и энергоэффективные суперкомпьютерные решения «РСК Торнадо» на Иннопром 2016 (дата доступа: 10.06.2016), URL: http://www.rscgoup.ru/ru/news/293-vysokoplotnye-i-energoeffektivnye-superkompyuternye-resheniya-rsk-tornado-na-innoprom-2016 t 67

[6] Cуперкомпьютеры A-Class (дата доступа: 10.06.2016), URL: http://www.t-platforms.ru/products/hpc/a-class.htmlt 67

[7] И. И. Левин, А. И. Дордопуло, И. А. Каляев, Ю. И. Доронченко, М. К. Раскладкин. «Современные и перспективные высокопроизводительные вычислительные системы с реконфигурируемой архитектурой», Вестн. ЮУрГУ. Сер. Выч. матем. информ., 4:3 (2015), с. 24-39. t 69

Рекомендовал к публикации к. т. н. С. А. Амелькин

Пример ссылки на эту публикацию:

И. И. Левин, А. И. Дордопуло, Ю. И. Доронченко и др. «Погружная система охлаждения реконфигурируемых вычислительных систем на основе ПЛИС», Программные системы: теория и приложения, 2016, 7:4(31), с. 65-81.

URL: http://psta.psiras .ru/read/psta2016_4_65-81.pdf

Об авторах:

Илья Израилевич Левин

Директор Научно-исследовательского центра супер-ЭВМ и нейрокомпьютеров (г. Таганрог). Автор более 300 публикаций по теории многопроцессорных вычислительных систем с реконфигурируемой архитектурой.

e-mail: [email protected]

Алексей Игоревич Дордопуло

Заведующий лабораторией НИИ вычислительных многопроцессорных систем имени академика А.В. Каляева Южного федерального университета (г. Таганрог). Автор более 140 публикаций по программному обеспечение высокопроизводительных вычислительных систем.

e-mail: [email protected]

Юрий Иванович Доронченко

Технический директор Научно-исследовательского центра супер-ЭВМ и нейрокомпьютеров (г. Таганрог). Автор более 70 публикаций по вопросам решения прикладных задач с помощью ПЛИС-технологий, программному обеспечению высокопроизводительных вычислительных систем. e-mail: [email protected]

Максим Константинович Раскладкин

Начальник отдела Научно-исследовательского центра суперЭВМ и нейрокомпьютеров (г. Таганрог). Автор более 40 публикаций по вопросам аппаратного обеспечения РВС, разработки функциональных узлов и блоков РВС.

e-mail: [email protected]

Александр Михайлович Федоров

Начальник отдела теплотехники Научно-исследовательского центра супер-ЭВМ и нейрокомпьютеров (г. Таганрог). Автор более 10 публикаций по вопросам организации систем охлаждения РВС, моделирования теплообменных процессов РВС.

e-mail: [email protected]

Il'ya Levin, Aleksey Dordopulo, Yuriy Doronchenko, Maksim Raskladkin, Aleksandr Fedorov. Immersion cooling system for FPGA-based reconfigurable computer systems.

Abstract. In the paper we analyze problems of design promising reconfigurable computer systems with liquid cooling for Xilinx Virtex UltraScale field programmable gate arrays. The paper gives a detailed account of the architecture, circuit layout and comparative technical characteristics of the next-generation reconfigurable computer systems (RCS) based on Xilinx Virtex UltraScale FPGAs with liquid cooling. The paper contains results of design, prototyping and experimental testing of the principal technical solutions of the designed power-efficient nextgeneration computational module, which is intended for creation of highperformance computer systems with liquid cooling and with the performance of 1PFlops in a standard 47U computer rack with power consumption of 150 kWatt.

The designed solutions have a power reserve for produced and designed FPGA families, they are resistant to leaks and their consequences, and are compatible with traditional water cooling systems based on industrial chillers. (In Russian).

Key words and phrases: reconfigurable computer systems, FPGA, liquid cooling, computational module, high-performance computer systems, real and specific performance, power efficiency.

References

[1] M. Baity-Jesi et al. "The Janus Project: Boosting Spin-Glass Simulations using FPGAs", 12th IFAC Conference on Programmable Devices and Embedded Systems, IFAC Proceedings Volumes, 46:28 (2013), pp. 227-232.

[2] D.E. Shaw et al. "Anton, a special-purpose machine for molecular dynamics simulation", 34th International Symposium on Computer Architecture (ISCA 2007) (June 9-13, 2007, San Diego, California, USA), Commun. ACM, 51:7 (2008), pp. 91-97.

[3] I. A. Kalyaev, I.I. Levin, A. I. Dordopulo, L. M. Slasten. "Reconfigurable Computer Systems Based on Virtex-6 and Virtex-7 FPGAs", 12th IFAC Conference on Programmable Devices and Embedded Systems, IFAC Proceedings Volumes, 46:28 (2013), pp. 210-214.

[4] Vysokoproizvoditel'naya vychislitel'naya sistema IMMERS 6 R4 (accessed: 10.06.2016) (In Russian), URL: http://immers.ru/sys/immers660/

[5] Vysokoplotnyye i energoeffektivnyye superkomp'yuternyye resheniya "RSK Tornado" na Innoprom 2016 (accessed: 10.06.2016) (In Russian), URL: http://www.rscgoup.ru/ru/news/293-vysokoplotnye-i-energo-effektivnye-superkompyuternye-resheniya-rsk-tornado-na-innoprom-2016

[6] A-Class supercomputers (accessed: 10.11.2016), URL: http://www.t-platforms.com/products/hpc/a-class.html

[7] 1.1. Levin, A. I. Dordopulo, I. A. Kalyayev, Yu. I. Doronchenko, M. K. Raskladkin. "Modern and next-generation high-performance computer systems with reconfigurable architecture", Vestn. YuUrGU. Ser. Vych. Matem.. Inform., 4:3 (2015), pp. 24-39 (In Russian).

Sample citation of this publication:

Il'ya Levin, Aleksey Dordopulo, Yuriy Doronchenko, Maksim Raskladkin, Aleksandr Fedorov. "Immersion cooling system for FPGA-based reconfigurable computer systems", Program systems: theory and applications, 2016, 7:4(31), pp. 65-81. (In Russian).

URL: http://psta.psiras.ru/read/psta2016_4_65-81.pdf

Immersion cooling system for FPGA-based reconfigurable computer systems

Текст научной работы на тему «Погружная система охлаждения реконфигурируемых вычислительных систем на основе ПЛИС»