CC BY
128
ЭЛЕКТРОТЕХНИЧЕСКИЕ КОМПЛЕКСЫ И СИСТЕМЫ
УДК 621.39
Энергетическая эффективность систем электропитания для высокоскоростных телекоммуникационных систем
Т.С. Аббасова
Рассмотрена модель оценки энергетической эффективности системы электропитания; модель учитывает степень избыточности оборудования инженерной инфраструктуры, обслуживающей компьютерное оборудование, и эффект резкого падения КПД системы электропитания на малых нагрузках; предложены мероприятия для адаптивного подбора номинальной мощности компонентов инженерной инфраструктуры и оптимизации работы системы бесперебойного питания.
The model of estimation of power efficiency of the system of power supply is considered; a model is taken into account by the degree of surplus of equipment of engineering infrastructure, attendant a computer equipment, and effect of the sharp falling KPD systems of power supply on the small loadings; measures are offered for the adaptive selection of nominal power of components of engineering infrastructure and optimization of work of the system of trouble-free feed.
Ключевые слова: электропитание, потери мощности, конфигурации резервирования.
Ц е л ь р а б о т ы: необходимо оптимизировать потребление энергии систем электропитания для компьютерного оборудования высокоскоростного центра обработки данных (ЦОД).
Центр обработки данных - это сложное инженерное сооружение, предназначенное для централизованного размещения и обслуживания компьютерного оборудования предприятия. Совместно используемая инфраструктура ЦОД служит для предоставления ИТ-сервисов (сервисы Интернет-технологий) предприятиям не очень большого масштаба, которым легче арендовать вычислительные мощности у более крупной организации, чем оплачивать расходы на электропотребление и управление вычислительным оборудованием (концепция Cloud Computing). Для увеличения надежности и катастрофоустойчивости крупного ЦОД предложен тип резервирования «система + система» (ЦОД + резервный ЦОД). Структурная схема организации ЦОД и резервного ЦОД представлена на рис. 1, в котором приняты следующие обозначения: СБЭ - система бесперебойного электроснабжения; СВК - система вентиляции и кондиционирования; СОП - система обнаружения
пожара; КСБ - комплексная система безопасности; СКС - структурированная кабельная сеть.
Главное требование к резервному офису заключается в том, чтобы в случае экстренных ситуаций все жизненно необходимые данные и сервисы были восстановлены в течение 1 ч [1]. В мировой практике временной отрезок, прошедший с момента «краха» системы до ее восстановления, называется RTO (от англ. Recovery Time Objective
- задача времени обновления). Обычно это время стремятся сократить за счет запуска резервных мощностей, находящихся вне проблемной зоны.
При аварийном планировании необходимо построение Web-узла для отображения информации о компании после катастрофы при наихудшем варианте сценария. Если системы работают нормально, то с помощью вычислительных мощностей резервного ЦОД осуществляется удаленная диагностика основного ЦОД и решаются другие задачи.
Модель оценки энергетической эффективности системы электропитания должна учитывать степень избыточности оборудования и эффект резкого падения КПД системы электропитания на малых нагрузках [2]. Эффективность (КПД)
Серверы БД, приложений, шлюзовые и т.д.; доменные контроллеры
Сетевое оборудование Коммутатор АТС
Резервируемое
оборудование
СБЭ СВК СОП
КСБ
СКС
ОСНОВНОЙ цод
Оборудование
связи
СБЭ СВК СОП
КСБ
СКС
РЕЗЕРВНЫЙ цод
АБОНЕНТЫ ОСНОВНОГО ЦОД
‘л’0 —
ИНТЕРНЕТ
Web-серверы (брокеры данных), Web-сервер для отображения информации об основном офисе после
Рис. 1. Принцип построения основного и резервного центров обработки данных
любого устройства или системы - это доля его «входа» (электричества, топлива, другой движущей силы), преобразуемая в желаемый полезный результат. Отношение полезного «выхода» к полному «входу» обычно выражается в процентах. ЦОД в данном случае надо рассматривать как энергетическую систему, «полный вход» которой - потребляемая электроэнергия, а «полезный выход» - количество энергии (мощность), расходуемой компьютерными системами. Потребляемая оборудованием ИТ электрическая мощность является мерой производительности вычислительных систем.
Если бы КПД ЦОД был равен 100%, то вся подводимая к нему мощность достигала бы информационных систем. В реальных условиях эксплуатации электроэнергию потребляет не только оборудование ИТ, но и множество других устройств инженерной инфраструктуры ЦОД, обеспечивающих его надлежащее подключение, электропитание, охлаждение и защиту (трансформаторы, источники бесперебойного питания (ИБП), соединительные элементы, вентиляторы, кондиционеры, насосы, увлажнители, лампы освещения). Некоторые из них, например ИБП и трансформа-
торы, подключены последовательно с нагрузками ИТ (потому что они являются частью контура питания), а другие, в том числе лампы освещения и вентиляторы, - параллельно, так как в ЦОД должна обеспечиваться поддержка и других важных функций. К «потерям» относится все, что не является полезной нагрузкой. Но инженерная инфраструктура ЦОД не только обеспечивает питание нагрузки ИТ, но и выполняет много дополнительных функций. Полезный выход подсистем инженерной инфраструктуры (например, устройств кондиционирования и освещения) должен рассматриваться как часть «полезной нагрузки» ЦОД. Для вычисления общего КПД центра обработки данных функции инженерной инфраструктуры, значимые для поддержания внутренней рабочей среды центра, не связанные с питанием нагрузки ИТ, должны рассматриваться как «потери», которые следует минимизировать. Почти вся электроэнергия, поступающая в ЦОД, преобразуется в тепло. Диаграмма на рис. 2 представляет результаты энергетического анализа типичного ЦОД с двумя контурами питания и блоками кондиционирования с резервированием N+1 при типовой 30%-ной нагрузке от предельной мощности.
в тепло
На рис. 2 приняты следующие обозначения: ИБП - источник бесперебойного питания, PDU (от англ. Protocol Data Unit) - протокольные блоки данных, CRAC (от англ. Computer Room Air Conditioning) - системы кондиционирования воздуха для компьютерных комнат.
В приведенном примере КПД центра не превышает 30%. Хотя уровень нагрузки 30% совпадает с КПД 30%, эти величины означают разные вещи. Далее будет показана взаимосвязь низкого КПД с низкой нагрузкой.
Существуют следующие способы повышения КПД ЦОД [2]:
1) улучшение конструкции отдельных устройств инженерной инфраструктуры для снижения потребления электроэнергии;
2) «безызбыточный» подбор номинальной мощности компонентов инженерной инфраструктуры для реальной ИТ-нагрузки;
3) внедрение новых технологий, сокращающих потребность в электроэнергии, для поддержки второстепенных функций инженерной инфраструктуры.
Хотя КПД ЦОД можно определить эмпирически путем сложения энергопотребления всего оборудования ИТ с последующим делением на полную входную мощность ЦОД, на практике для расчета используются заявленные производителями значения КПД основных компонентов, включая ИБП и кондиционеры. На первый взгляд, этот способ проще, однако он обычно приводит к значительному завышению КПД и не дает информации для определения возможных путей экономии электроэнергии.
Для систем электропитания производители обычно выражают КПД, %, формулой
Р
= -^100, (1)
Р1
где Р2 - выходная мощность, потребляемая компьютерным оборудованием; Р1 - входная мощность (общая подаваемая электроэнергия).
Для систем охлаждения КПД
характеризуется относительным параметром, называемым «коэффициент
производительности», %:
Ч -= % 100, (2)
—1
где 0 - выведенное тепло; Р1 - входная мощность (общая подаваемая электроэнергия).
Публикуемые значения КПД для однотипных устройств различных производителей практически не отличаются, и это приводит к упрощенному представлению о том, что энергетические потери ЦОД можно определить простым сложением потерь в различных компонентах. Использование представленных производителями номинальных значений КПД приводит к переоценке КПД и, следовательно, к недооценке потерь в реальных условиях. Для построения модели общего КПД ЦОД примем, что реальный КПД компонентов ЦОД не константа, а функция от уровня ИТ-нагрузки.
Проведенные исследования [2] показали, что КПД для ИБП ЦОД при снижении нагрузки до определенного низкого уровня КПД ИБП резко падает до нуля, так как некоторые потери, например, в управляющих цепях, не зависят от нагрузки. Постоянная составляющая потерь - «потери холостого хода». По мере уменьшения нагрузки увеличивается доля внутреннего энергопотребления ИБП по отношению к общей потребляемой мощности, в результате КПД уменьшается.
Следует учитывать, что для устройства значение КПД, равное 91%, соответствует его КПД при полной нагрузке. При низких нагрузках, характерных для большинства существующих ЦОД, описание такого устройства, как ИБП, обладающего указанным КПД, будет большой ошибкой -например, при 10%-ной нагрузке КПД того же ИБП не превысит 60%. Очевидно, что модель с единственным значением КПД в данном случае неприемлема. Потери оборудования повышаются по мере роста нагрузки. Это явление объясняется наличием дополнительных потерь, не учтенных в потерях холостого хода, которые растут пропор-
ционально нагрузке, и потерь, пропорциональных квадрату нагрузки (величина их обычно незначительна, но из-за нее общий КПД на высоких нагрузках может уменьшиться).
В табл. 1 приводятся характеристики энергоэффективности ЦОД с высокой и низкой нагрузками.
В табл. 2 приведены типичные значения трех составляющих потерь для различных типов оборудования ЦОД, полученные экспериментальным путем при реальных нагрузках [2].
Энергоэффективность ЦОД, характеристики которой изображены на рис. 3, не может адекватно, с приемлемой точностью моделироваться одним параметром КПД, однако эта задача успешно решается при использовании двух параметров из табл. 2, описывающих потери холостого хода (4%) и пропорциональные потери (5%).
Таблица 1. Результаты анализа нагрузки ЦОД
В любом анализе КПД ЦОД обязательно нужно учитывать нагрузку в долях от номинальной мощности. Компоненты электропитания и кондиционирования любого типа могут эксплуатироваться с нагрузкой меньше номинальной вследствие следующих причин:
♦ ИТ-нагрузка ЦОД меньше, чем его конструктивная номинальная мощность (согласно статистике, среднестатистический центр обработки данных эксплуатируется с нагрузкой 65% от номинальной);
♦ мощность компонента ЦОД намеренно завышена для обеспечения запаса мощности, чтобы избежать эксплуатации компонентов с нагрузкой, близкой к номинальной; эксплуатация систем без нагрузочного резервирования возможна, однако для особо ответственных объектов рекомендуемый резерв мощности составляет 10...20%;
Показатели энергоэффективности реальной ЦОД Количественные характеристики
КПД компонентов, особенно блоков кондиционирования и ИБП, значительно снижается при меньших ИТ-нагрузках Пе = / №т) Пе - КПД электропитания, - нагрузка ИТ-систем: ^ИТ = 100% ^ Пе = 91%; ШИТ = 10% ^ це = 60%
Компоненты электропитания и кондиционирования обычно работают с 30%-ной нагрузкой Типичная ИТ-нагрузка значительно меньше номинальной мощности: ШИТ = 30% ^ Пе = 80%
Тепловыделение компонентов ЦОД Цр = / (№ИТ), Пі- - КПД охлаждения
Таблица 2. Потери для различных типов оборудования ЦОД
Компонент инженерной инфраструктуры Потери холостого хода, % Пропорциональные потери, % Квадратичные потери, % Полные потери, %
ИБП 4,0 5 - 9,0
БРП 1,5 - 1,5 3,0
Освещение 1,0 - - 1,0
Электропроводка - - 1 1,0
Коммутационное оборудование - - 0,5 0,5
Г енератор 0,3 - - 0,3
Кондиционер 9,0 - - 9,0
Увлажнитель 1,0 1 - 2,0
Холодильная установка 6,0 26 - 32,0
Рис. 3. Зависимость КПД ЦОД от уровня нагрузки
♦ компонент эксплуатируется в конфигурации с резервированием N+1 (на N рабочих выходов один резервный) или 2N (на N рабочих выходов N резервных) для повышения надежности и обеспечения возможности обслуживания отдельных компонентов без отключения всей системы (ИТ-нагрузка распределяется между несколькими компонентами инженерной инфраструктуры, что заметно сокращает нагрузку каждого из них, в системах 2N нагрузка любого отдельного компонента не превышает 50% от номинального значения; следовательно, использование устройств в конфигурациях с резервированием N+1 или 2N снижает общий КПД центра обработки данных);
♦ избыточные компоненты реализуются для поддержки «разнообразных нагрузок». Рассмотрим реализацию избыточных компонентов. Пусть ЦОД с нагрузкой 1 МВт подключен к ИБП мощностью 1,1 МВт. Между ИБП и ИТ-нагрузками находятся 10 блоков распределения питания (БРП), к каждому из них подключена определенная часть ИТ-нагрузок. На первый взгляд могло бы показаться, что требования к системе были бы выполнены при номинальной мощности 100 кВт. Если бы каждый БРП работал с полной нагрузкой, то и ЦОД был бы нагружен полностью. Однако в реальных условиях невозможно обеспечить точную балансировку нагрузки между несколькими БРП. Нагрузка любого БРП диктуется особенностями ИТ-оборудования на участке ЦОД, где находится данный БРП. В реальных ЦОД нагрузка двух одинаковых БРП может различаться почти в два раза. Если к данному БРП подключена секция ЦОД, работающая с предельной нагрузкой, но не использующая всю номинальную мощность БРП, то остальная мощность данного БРП не будет задействоваться, когда другие девять БРП полностью нагружены.
В такой конфигурации единственный способ обеспечить полную номинальную мощность ЦОД
- установить БРП с запасом мощности. Типичный запас мощности БРП - от 30% до 100%. Было показано, что избыточность снижает КПД системы. Однако для поддержки «варьирующейся» нагрузки необходимы избыточные БРП. По тем же причинам внедряются избыточные системы кондиционирования.
Необходимо учитывать, что оборудование ИТ, системы электропитания и кондиционирования выделяют тепло практически в одинаковом
объеме, и все оно должно отводиться. В результате увеличивается нагрузка на систему охлаждения, которую требуется строить с большим запасом, что приводит к дополнительным энергетическим потерям. Таким образом, для корректного расчета величины потерь к нагрузке системы охлаждения необходимо отнести не только оборудование ИТ, но и потери в устройствах электропитания и охлаждения, работающих в кондиционируемом пространстве.
Опираясь на приведенные рассуждения, модель для расчета КПД ЦОД должна учитывать следующие факторы:
♦ компоненты моделируются с учетом трех составляющих - потерь холостого хода, потерь, пропорциональных нагрузке, и потерь, пропорциональных квадрату нагрузки;
♦ в расчет принимается избыточность вследствие нагрузочного резервирования компонентов;
♦ в общую нагрузку системы охлаждения включается ИТ- и тепловая нагрузка от потерь во внутренних компонентах электропитания и охлаждения.
Для заданной конфигурации ЦОД построенная модель дает графическое представление КПД как функции от нагрузки и позволяет получить точный результат для реальной нагрузки ЦОД, которая обычно существенно меньше номинальной.
Модель предусматривает последовательное выполнение следующих действий:
♦ определение средней степени избыточности для каждого типа компонентов электропитания и охлаждения с учетом факторов запаса мощности, разнообразия нагрузок и резервирования;
♦ расчет эксплуатационных потерь для каждого типа компонентов с использованием входной нагрузки, доли номинальной нагрузки для данного типа компонента с учетом резерва мощности, потерь холостого хода и пропорциональных потерь;
♦ оценка дополнительных пропорциональных потерь из-за необходимости охлаждения компонентов электропитания и кондиционирования в ЦОД;
♦ сложение всех потерь;
♦ вычисление и составление таблицы потерь как функции от ИТ-нагрузки ЦОД.
Используя типичные значения потерь, резерва мощности, баланса нагрузки, избыточности и резервирования для всех системных компонентов,
можно построить график. Модель объясняет существенное уменьшение КПД при типичных для многих ЦОД невысоких уровнях нагрузки.
Рассмотрим потери из-за низкой энергетической эффективности ЦОД с точки зрения финансовых затрат. На рис. 4 показана стоимость электроэнергии, ежегодно потребляемой ЦОД мощностью 1 МВт, как функция от ИТ-нагрузки [3].
Данный ЦОД имеет типичный высоконадежный двойной контур питания и блоки кондиционирования уровня помещения с резервированием N+1. Для анализа стоимость киловатт-часа электроэнергии принята равной 10 центам. Из рис. 4 видно, что общая стоимость электроэнергии за год составляет от 0,4 млн долларов при загрузке оборудования ЦОД 30% до 1,9 млн долларов при полной загрузке. Однако даже при полном отсутствии ИТ-нагрузки расходы составят более 100 тыс. долларов в год, что объясняется потерями в системах электропитания и охлаждения. В типичном ЦОД уровень использования номинальной мощности составляет 30%, так что более 70% стоимости потребляемой электроэнергии теряется из-за низкой энергетической эффективности систем электропитания и охлаждения.
Предложенная модель показывает, что основной вклад в энергетические потери ЦОД вносят потери холостого хода в инфраструктурных компонентах, которые в типичных ситуациях превосходят мощность, потребляемую ИТ-нагрузкой.
Анализ представленных данных позволяет определить и оценить возможности сокращения потерь и улучшения энергетической эффективности ЦОД:
♦ сокращение избыточности ЦОД за счет использования адаптивной модульной архитектуры, которая позволяет наращивать инфра-
структуру электропитания и охлаждения по мере роста нагрузки;
♦ повышение КПД систем охлаждения;
♦ уменьшение потерь холостого хода в компонентах электропитания и кондиционирования центра обработки данных.
Рассмотрим возможность наращивания инфраструктуры электропитания и охлаждения в зависимости от нагрузки за счет использования адаптивной модульной архитектуры [4,5]. Главный элемент системы бесперебойного электропитания (СБЭ) ИБП имеет модульную архитектуру. Установленная мощность ИБП зависит от двух факторов: расчетной мощности (мощности нагрузки) и степени избыточного резервирования. Избыточное резервирование может достигать 100%, оно наименее экономично и реализуется по схеме с одним рабочим и одним резервным ИБП. Принцип резервирования N+1 означает, что только часть мощности ИБП находится в резерве, который СБЭ позволяет использовать в случае отказа одного из работающих ИБП при построении схемы соответствующим образом. Как правило, это схемы с «горячим» резервом (находящимися под нагрузкой). Существуют схемы резервирования N+2, N+3,., N+N (система + система). Схемы построения СБЭ без избыточного резервирования менее предпочтительны.
Мощность и время автономной работы ИБП с резервированием есть функции от степени избыточного резервирования:
Р' =Л—н, Rр), (3)
где Р' - мощность ИБП с резервированием; — н -мощность нагрузки; Rр - степень избыточного резервирования (для резервирования N+1 Rр = 1, для резервирования N+2 Rр = 2 и т. д.);
Доля используемой номинальной мощности, %
-Совокупное
потребление
электроэнергии
-Энергопотребление
инженерной
инфраструктуры
-Энергопотребление
ИТ-нагрузки
Рис. 4. Зависимость финансовых затрат на электроэнергию от доли используемой номинальной мощности
Ъ = ЛСаб, Rр), (4)
где - время автономной работы; САБ - емкость аккумуляторной батареи.
На практике время автономной работы ИБП больше за счет избыточного резервирования и дискретности шкалы номинальных мощностей [6].
При длительном пропадании электропитания сначала корректно закрываются приложения на станциях, затем - на серверах. Однако для обеспечения надежности и катастрофоустойчивости оборудования ЦОД [1] необходимо, чтобы были запущены резервные вычислительные мощности и операции по обработке данных выполнялись непрерывно. Для запуска резервных мощностей необходима система удаленного мониторинга и управления электропитанием, работающая в режиме реального времени. Эта система также должна выполнять функции интеллектуальной системы модулями и приборами, входящими в состав СБЭ.
Используя данную модель расчета энергетической эффективности оборудования системы электропитания ЦОД, необходимо составить алгоритм работы интеллектуальной системы управления модулями и приборами, входящими в эту систему. Оптимизация энергетических параметров системы электропитания должна быть основана на принципе получения большой мощности основного силового модуля с помощью использования нескольких типовых модулей. Унифицированные модули питания можно успешно оптимизировать поиском величины единичной мощности, которая создает максимальный КПД при минимальном объеме.
Реальный КПД компонентов ЦОД является функцией от уровня ИТ-нагрузки. Общий КПД ЦОД снижает неполное использование номинальной мощности нагрузки и использование устройств в конфигурациях с резервированием N+Rp, где Rp -степень резервирования.
Для повышения КПД ЦОД наиболее эффективен метод адаптивного подбора номинальной мощности компонентов инженерной инфраструктуры для ИТ-нагрузки.
Для адаптивного подбора номинальной мощности компонентов инженерной инфраструктуры и оптимизации работы системы бесперебойного питания в случае получения большей мощности необходимо составить алгоритм работы интеллектуальной системы управления.
ЛИТЕРАТУРА
1. Артюшенко В.М., Аббасова Т.С. Катастрофоустой-чивость телекоммуникационных систем // Материалы 8-й Межвузовской научн.-техн. конф. «Современные средства управления бытовой техникой». -М.: МГУС, 2007, С. 111 - 114.
2. Расмуссен Н. Моделирование эффективности энергопотребления в центрах обработки данных. - LAN, 2007, №14/11, С. 40 - 47.
3. Отчет Агентства по охране окружающей среды, представленный 2 августа 2007 г. Конгрессу США.
4. Умудумов О.Ф., Аббасова Т.С. Системы вентиляции и кондиционирования в вычислительных центрах // Материалы 8-й Межвузовской научн.-техн. конф. «Современные средства управления бытовой техникой». - М.: МГУС, 2007, С. 148 - 149.
5. Барское А.Г. ЦОД «в комплексе» // Сети и системы связи, 2007, №14, С. 38 - 43.
6. Аббасова Т.С. Методика выбора и подключения источника бесперебойного питания в компьютерных сетях // Электротехнические и информационные комплексы и системы, 2007, т. 3, №3, С. 27 - 29.
Поступила 08.03.2009 г.
