Разработка системы автоматического управления погружным жидкостным охлаждением высокопроизводительных вычислительных комплексов

Амелькин Сергей Анатольевич; Карпеш Сергей Валерьевич; Клементьев Алексей Дмитриевич; Петров Алексей Анатольевич

ISSN 2079-3316 ПРОГРАММНЫЕ СИСТЕМЫ: ТЕОРИЯ И ПРИЛОЖЕНИЯ №1(28), 2016, с. 209-219 УДК 681.536.55

С. А. Амелькин, С. В. Карпеш, А. Д. Клементьев, А. А. Петров

Разработка системы автоматического управления погружным жидкостным охлаждением высокопроизводительных вычислительных комплексов

Аннотация. Рассмотрены задачи алгоритмического и аппаратно-программного обеспечения системы управления погружным жидкостным охлаждением высокопроизводительных вычислительных комплексов. Система управления решает задачу минимизации энергопотребления при ограничении на максимальную допустимую температуру тепловыделяющих компонентов вычислительных комплексов. Предложено решение задачи минимизации энергопотребления, получены условия оптимальности. Выбрано аппаратное обеспечение, разработан контроллер, позволяющий обработать необходимое количество сигналов цифровых термометров

Ключевые слова и фразы: погружная система жидкостного охлаждения, энергоэффективность, система управления.

Введение

Особенностью погружных систем охлаждения высокопроизводительных вычислительных комплексов является то, что все платы комплекса погружены в бак с диэлектрической охлаждающей жидкостью. Эта жидкость омывает платы и нагревается. Нагретая жидкость удаляется из бака и охлаждается в теплообменнике. Хладагентом в теплообменнике является вода или раствор этиленгликоля. Тепло, переданное диэлектрической охлаждающей жидкостью воде, утилизируется в окружающую среду в драйкулере. Такая схема охлаждения называется двухконтурной: первый контур образуется движением диэлектрической охлаждающей жидкости и переносом ей тепла от плат (прежде всего, процессоров, выделяющих более 90% всего производимого вычислительным комплексом тепла) к второму контуру водяного охлаждения, которое переносит тепло к драйкулеру.

(с УГП имени А. К. айламазяна«2' , 2016

(с ООО «СКИРУС»! , 2016

Показателем эффективности охлаждения является термическое сопротивление как всей системы охлаждения, так и каждого ее участка. Термическое сопротивление показывает отношение движущей силы процесса теплообмена — разности температур — к интенсивности достигаемого при такой движущей силе теплового потока.

Термическое сопротивление обратно значению коэффициента теплопередачи, а значит, зависит от скоростей движения диэлектрической охлаждающей жидкости и воды, а также от режима работы вентиляторов драйкулера.

Задачей системы управления охлаждением в погружной системе является поддержание температуры процессоров на уровне, не превышающем целевое значение Тп при температуре окружающего воздуха То. Эта задача может быть решена путем обеспечения минимального термического сопротивления всей системы охлаждения. Для этого надо выбрать максимальную производительность насосов и вентиляторов драйкулера, ведь чем больше скорость движения хладагентов, тем интенсивнее будет проходить процесс теплопередачи, а значит, тем меньше будет термическое сопротивление. К сожалению, такое решение оказывается весьма энергоемким и может использоваться только в условиях, когда разность Тп — То мала. В остальных случаях среди всех возможных решений нужно выбрать наиболее энергоэффективное.

1. Особенности погружного жидкостного охлаждения как системы управления

Систему управления погружным жидкостным охлаждением можно функционально разделить на две части: энергоэффективное решение задачи поддержания требуемого температурного режима работы процессоров и решение вспомогательных задач контроля и сигнализации работы насосов и драйкулера, давления в трубопроводах и возможности конденсации влаги.

Параметры, контролируемые для решения основной задачи поддержания требуемого температурного режима — это температуры воды на входе и выходе драйкулера Т\+, Т\- и температуры диэлектрической охлаждающей жидкости на входе и выходе бака Т2+, В стационарном режиме при хорошей термоизоляции трубопроводов эти же температуры наблюдаются на входах и выходах теплообменника.

Управляющими параметрами являются интенсивности работы насосов воды и диэлектрической охлаждающей жидкости и вентиляторов драйкулера. Поскольку критерием эффективности работы системы управления является обеспечение энергоэффективности процесса охлаждения, в качестве управляющих воздействий мы выберем мощности, подаваемые на насосы и вентиляторы: при постоянном напряжении режимы работы насосов и вентиляторов определяются величиной силы тока. Обозначим мощность, подаваемую на вентиляторы драйкулера то, а мощности подаваемые на насосы воды и диэлектрической охлаждающей жидкости — -¡VI, и>2 соответственно.

Термические сопротивления (при заданном тепловом потоке — разности температур) участков системы охлаждения зависят только от вида и скорости потоков хладагентов, следовательно, управляющие воздействия то, и>1, и>2 могут быть использованы для регулирования температурным режимом всей системы. Выделим три контура управления:

(1) Первый контур управления обеспечивает поддержку заданного температурного режима процессоров за счет изменения потока диэлектрической охлаждающей жидкости. Поскольку управляющее воздействие одно, а процессоров может быть много, то с предельной допустимой температурой Тп сравниваем максимальную температуру процессоров в баке. Увеличение потока диэлектрической охлаждающей жидкости снижает термическое сопротивление при теплопередаче от радиатора к жидкости, тем самым обеспечивая отрицательную обратную связь.

(2) Второй контур управления осуществляет регулирование температуры диэлектрической охлаждающей жидкости на входе в бак за счет изменения интенсивности потока воды. Увеличение потока воды снижает термическое сопротивление теплообменника, что позволяет уменьшить среднюю температуру диэлектрической охлаждающей жидкости или, при фиксированной температуре Т2+ уменьшить температуру диэлектрической охлаждающей жидкости на выходе теплообменника и на входе в бак.

(3) Третий контур управления обеспечивает за счет выбора режимов работы вентиляторов драйкулера заданную температуру воды на входе в теплообменник Т!_.

Объекты управления в каждом из этих контуров могут быть аппроксимированы апериодическими звеньями первого порядка. Управляющие воздействия принимаем непрерывными. В этих условиях

в качестве закона регулирования целесообразно выбрать пропорционально-интегральный, а настройки регулятора определить, исходя из требований отсутствия перерегулирования [1].

Однако, если целевая температура процессоров задается, исходя из соображений их производительности, то для второго и третьего контуров управления целевые температуры должны выбираться из условий минимума энергозатрат.

2. Выбор оптимальных целевых температур

Будем предполагать, что бак и трубопроводы хорошо теплоизолированы, а тепловыделение насосов и вентиляторов пренебрежимо мало. Тогда интенсивость теплопередачи на каждом этапе процесса отвода тепла в окружающую среду будет одинакова. Перечислим эти этапы и запишем уравнения балансов для каждого этапа.

Первый этап — отвод тепла от процессора к диэлектрической охлаждающей жидкости. Поскольку, в общем случае, расположение процессоров может быть произвольным, введем величину Т2 — средняя температура диэлектрической охлаждающей жидкости в баке. Вид усреднения зависит от расположения процессоров и организации потоков диэлектрической охлаждающей жидкости в баке (Т2- ^ Т2 ^ ?2+). Закон теплопереноса от процессоров к диэлектрической охлаждающей жидкости имеет вид:

т Тп - Т 2

(1) —7—г = ^

Г2 (и>2 )

где д — тепловыделение процессоров в баке, Г2(и>2) — термическое сопротивление радиатора.

Второй этап — перенос тепла диэлектрической жидкостью из бака в теплообменник. Интенсивность теплопереноса определяется теплоемкостью диэлектрической охлаждающей жидкости С2, разностью температур на входе и выходе бака Т2+ — Т2- и интенсивностью потока #2(^2):

(2) С2#2(^2)(Т2+ — Т2-) = д.

Третий этап — теплопередача между двумя хладагентами — диэлектрической охлаждающей жидкостью и водой — в теплообменнике. Для описания этого процесса также используем средние значения температур Т1, Т2. Если теплообменник одноходовой противоточный, то усреднение логарифмическое, для других типов теплообменников

требуется иной вид усреднения. Термическое сопротивление теплообменника Г1(чл1,1л2) зависит от скоростей движения обеих жидкостей, а значит, от мощностей, подводимых к насосам диэлектрической охлаждающей жидкости и воды:

/о\ Т 2 — Т1

(3) -г = Ч.

Г1 (■Ш1,-Ш2)

Четвертый этап — перенос тепла водой от теплообменника к драй-кулеру. Уравнение теплопереноса аналогично (2):

(4) С1д1(т1)(Т1+ — Т1-) = д.

Здесь С1 — теплоемкость воды, д1(и)1) — интенсивность потока воды.

И, наконец, пятый этап — теплоотдача в драйкулере тепла в окружающую среду. Так же, как и в (1), используем усреднение температуры воды Т1 (Т!_ ^ Т1 ^ Т1+). Термическое сопротивление драйкулера го^ло^л^ зависит от мощностей, подведенных к насосу воды и вентиляторам драйкулера:

гк\ Т1 — То

(5) —;-г = д.

го("Шо, 'Ш1)

Таким образом, мы построили математическую модель процесса утилизации тепла в погружной жидкостной системе охлаждения. В этой модели при заданных значениях теплоемкостей С1, С2 и температур процессоров Тп и окружающей среды То — семь переменных: температуры хладагентов Т!_, Т1+, Т2-, Т2+, мощности, подводимые к управляющим устройствам ,шо, ^1, '^2. Построенная модель имеет две степени свободы, мы можем поставить задачу минимизации энергопотребления.

Четыре уравнения: (1), (2), (4), (5) могут быть использованы для того, чтобы из них выразить температуры хладагентов. При небольшой разности температур Тп — То можно предположить, что усредненные значения температур приблизительно равны: Т1 « Т1, Т2 ~ Т2. Поэтому задача минимизации энергопотребления системой охлаждения имеет вид:

/о(^о, 1^1, 1^2) = ™о + М1 + 'ш2 ^ тт

Шо

при условии

,, , Тп — То — д(го(-шо ^1)+ Г2 (т2))

(6) ¡о{шо,Ы1,1Л2) =---г-= д.

Г1(-Ш1, -Ш2)

Условия оптимальности решения этой задачи могут быть получены как условия седловой точки функции Лагранжа Ь = /о — Л/1:

^ = 0 ^ 1+ Х<1 .

д-шо г 1(^1,^2) д-шо

Хд (дго дг1

(7)

(8)

(9)

(10)

0,

dL dw\ dL dw2 dL

Ж = 0 *

0 * 1 +

ri(wi, W2)

M

ri(wi, W2)

dwi + dwi dri dr2 dw<2 dw<2

0,

Tn - Tq - q(ro(wo,wi) + T2(w2))

= q.

ri(wi,w2)

Уравнения (7)—(10) позволяют найти минимальное энергопотребление системы охлаждения при любых условиях ее функционирования. Целевые значения температур хладагентов для второго и третьего контуров системы охлаждения рассчитываются по формулам (1)—(5).

Алгоритм системы регулирования в общем виде может быть представлен следующим образом:

• по целевой температуре процессоров и температуре окружающей среды находим минимальное энергопотребление и соответствующие ему температуры хладагентов;

• рассчитанные температуры хладагентов Ti_, Т2- устанавливаются, как целевые для второго и третьего контуров системы управления;

• все три контура обеспечивают пропорционально-интегральные законы регулирования соответствующих температур.

3. Выбор аппаратных и программных решений

Для реализации алгоритма управления системой выбрана программа OpenSCADA. Она представляет собой открытую SCADA (Supervisory Control And Data Acquisition) систему, построенную по принципам модульности, многоплатформенности и масштабируемости [2]. Система OpenSCADA предназначена для: сбора, архивирования, визуализации информации, выдачи управляющих воздействий, а также других родственных операций, характерных для полнофункциональной SCADA системы. Основой системы является модульное ядро. В зависимости от того, какие модули подключены, система может выполнять как функции различных серверов, так и функции клиентов клиент-серверной архитектуры. Собственно, архитектура

0

системы позволяет реализовывать распределенные клиент-серверные системы любой сложности. Для достижения высокого быстродействия, за счет сокращения времени коммуникаций, архитектура позволяет объединять функции распределенных систем в одной программе. Система OpenSCADA состоит из подсистем:

• подсистема безопасности содержит списки групп и пользователей, обеспечивает проверку прав на доступ к элементам системы и т.д.;

• модульная подсистема баз данных обеспечивает доступ к базам данных;

• модульная подсистема транспортов обеспечивает коммуникацию с внешней средой, посредством различных коммуникационных интерфейсов;

• модульная подсистема коммуникационных протоколов обмена тесно связана с подсистемой транспортов и обеспечивает поддержку различных протоколов обмена с внешними системами;

• модульная подсистема сбора данных (DAQ) обеспечивает сбор данных от внешних источников: контроллеров, датчиков и т.д., кроме этого, подсистема может предоставлять среду для написания генераторов данных (модели, регуляторы и т.д.);

• модульная подсистема архивов содержит архивы двух типов: архивы сообщений и архивы значений; способ архивирования определяется алгоритмом, который заложен в модуле архивирования;

• модульная подсистема пользовательских интерфейсов содержит функции пользовательских интерфейсов;

• подсистема управление модулями обеспечивает контроль над модулями;

• модульная подсистема специальных функций содержит функции, не вошедшие в остальные подсистемы, в настоящий момент к этим функциям относятся функции тестирования.

Используя функциональность системы OpenSCADA разработано программное обеспечение, включающее передачу данных от датчиков и к исполнительным механизмам, реализацию алгоритма управления и визуальное представление системы жидкостного охлаждения. Три главных подсистемы, с которыми проводилась работа, — это модуль сбора данных, модуль транспорта и модуль пользовательского интерфейса.

Передача собранных данных в программу осуществляется с использованием протокола MODBUS [3]. Это открытый протокол, основанный на архитектуре ведущий-ведомый (master-slave). В контролле-

Рис. 1. Принципиальная схема контроллера

ре для передачи данных используются последовательные линии связи RS-485, RS-232.

Реализация системы управления предполагает использование большого числа термометров, обрабатывая данные с которых можно получить максимальное значение температуры диэлектрической охлаждающей жидкости в баке. Однако, для обработки данных с большого количества датчиков возникла необходимость в нестандартном контроллере, который и был разработан на основе однокристалльного микроконтроллера Atmel семейства mega (atmega328) в связке с цифровыми термометрами, работающими на шине 1-Wire. Принципиальная схема контроллера представлена на рис. 1.

В данном контроллере дополнительно используется преобразователь интерфейсов между RS-485, который позволяет передавать данные на большие расстояния, и RS-232 с уровнями TTL, с которым работает микроконтроллер. Используемая библиотека для работы с MODBUS была доработана с учетом требований по работе через RS485, где требуется переводить преобразователь интерфейсов между режимами «прием» и «передача».

Заключение

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.

Разработка системы управления погружным жидкостным охлаждением высокопроизводительных вычислительных комплексов — комплексная задача, включающая как решение оптимизационной задачи, так и разработку программно-аппаратного комплекса, позволяющего реализовать это решение. Использование разработанной системы управления позволит гарантировать наименьшее потребление энергии системой охлаждения.

Список литературы

[1] J. G. Ziegler, N. B. Nichols. "Optimum settings for automatic controllers", Trans. ASME, 64 (1942), pp. 759-768, URL: https: //engineering.purdue.edu/~zak/ECE680/Ziegler-Nichls_1942.pd:^212

[2] OpenSCADA: Документация, URL: http://oscada.org/ru/glavnaja/ dokumentacija/ t 214

[3] MODBUS Protocol Specification, URL: http://www.modbus.org/docs/ Modbus_Application_Protocol_V1_1b.pdft 215

Рекомендовал к публикации

проф. А. М. Цирлин

Об авторах:

Сергей Анатольевич Амелькин

Руководитель исследовательского центра системного анализа ИПС имени А. К. Айламазяна РАН

e-mail: sam@sam.botik.ru

Сергей Валерьевич Карпеш

Студент ЧОУ ВО «УГП имени А.К.Айламазяна», тьютор Центра компетенции «Информационные системы и технологии» Национальной программной платформы России

e-mail: karpesh.sergey@gmail.com

Алексей Дмитриевич Клементьев

Генеральный директор ООО «Инпро компьютерз», Технический директор ООО «СКИРУС»

e-mail: adklem@gmail.com

Алексей Анатольевич Петров

Студент ЧОУ ВО «УГП имени А.К.Айламазяна», тьютор Центра компетенции «Информационные системы и технологии» Национальной программной платформы России

e-mail: reykon2010@yandex.ru

Пример ссылки на эту публикацию:

С. А. Амелькин, С. В. Карпеш, А. Д. Клементьев, А. А. Петров. «Разработка системы автоматического управления погружным жидкостным охлаждением высокопроизводительных вычислительных комплексов», Программные системы: теория и приложения, 2016, 7:1(28), с. 209-219. 1ЖЬ: http://psta.psiras.ru/read/psta2016_1_209-219.pdf

Sergey Amelkin, Sergey Karpesh, Aleksey Klementiev, Aleksey Petrov. Research and Development of a Control System, for Immersion Cooling of a High-Performance Computing Complex.

Abstract. Problems of development of algorithms, software and hardware for control systems of immersion cooling are considered. The control system at issue should solve a problem of energy minimization for any climate conditions, subject to processors temperatures have to be under the given value of maximal admittable temperature. The optimality conditions for this problem are found. Principal scheme for the controller with the necessary amount of inputs and outputs is developed. (In Russian).

Key words and phrases: immersion cooling, energy saving processes, control systems.

References

[1] J. G. Ziegler, N.B. Nichols. "Optimum settings for automatic controllers", Trans. ASME, 64 (1942), pp. 759-768, URL: https://engineering.purdue.edu/~zak/ ECE680/Ziegler-Nichls_1942.pdf

[2] OpenSCADA:Documentation, URL: http://oscada.org/en/main/documentation/

[3] MODBUS Protocol Specification, URL: http://www.modbus.org/docs/Modbus_ Application_Protocol_V1_1b.pdf

Sample citation of this publication:

Sergey Amelkin, Sergey Karpesh, Aleksey Klementiev, Aleksey Petrov. "Research and Development of a Control System for Immersion Cooling of a HighPerformance Computing Complex", Program systems: theory and applications, 2016, 7:1(28), pp. 209-219. (In Russian).

URL: http://psta.psiras.ru/read/psta2016_1_209-219.pdf