CC BY
54
УДК 681
Ю. Л. Леохин, И. Н. Дворецкий
ТЕНДЕНЦИИ РАЗВИТИЯ НАУКИ И ТЕХНИКИ В ОБЛАСТИ ПРОИЗВОДСТВА СЕРВЕРНОГО ОБОРУДОВАНИЯ
ДЛЯ ДАТА-ЦЕНТРОВ
Проанализирован рынок серверного оборудования, на примере крупнейших производителей серверного оборудования проведен сравнительный анализ характеристик серверов. Определены основные тенденции развития науки и техники в области производства серверного оборудования для дата-центров.
Ключевые слова: сервер, процессор, технологи, программное обеспечение, блейд-сервер, энергоэффективность.
Производство серверов для центров обработки данных (ЦОД) — высокоспециализированная область, использующая последние достижения микроэлектроники и компьютерной техники. Для выявления ее тенденций требуется анализ рынка оборудования и характеристик серверов; выполним его на примере крупнейших производителей серверного оборудования — IBM, Dell и HP, занимающих 7S % всего серверного рынка мира [1].
Рассмотрим классы серверного оборудования, выпускаемого ведущими мировыми компаниями. HP производит серверы базе x86 процессоров Intel Xeon и AMD Opteron: настольные серверы серии HP Proliant ML, серверы для монтажа в стойку серии DL и сверхплотные блейд-серверы, а также серверы семейства HP Integrity на базе процессоров Intel Itanium. Серверы HP Integrity оптимизированы под технологии виртуализации и масштабирования бизнес-задач, они могут работать в гетерогенных мультиоперационных средах (Windows, Linux, OpenVMS) [2].
Dell ориентирована на производство серверов семейства PowerEdge различных конфигураций: настольные в корпусах Tower, серверы для монтажа в стойку и блейд-серверы. Серверы Dell предусматривают возможность установки до 4 процессоров с числом ядер до 12 в каждом, таких как Intel Xeon и AMD Opteron [3].
Компания IBM производит мейнфреймы и блейд-серверы на базе процессоров Intel, AMD и собственных процессоров Power. Системы на базе процессоров Power7 (PS700, PS701 и PS702 Express) представляют собой хорошо масштабирующуюся интегрированную платформу с технологией оптимизации энергопотребления EnergyScale. Кроме того, IBM производит серверы на базе процессоров Intel Xeon и AMD Opteron [4].
Подразделение Sun Microsystems компании Oracle для производства серверов использует собственные процессоры семейства SPARC, а также серверы на двух- и четырехъядерных процессорах Intel Xeon и AMD Opteron. Передовое решение компании — сервер Sun SPARC Enterprise TS120, позволяющий сократить затраты энергии в два раза, при этом занимая в четыре раза меньшую, по сравнению с традиционными решениями, площадь. Сервер построен на 8-ядерном процессоре UltraSPARC T2 System on a Chip и поддерживает обработку до 64 потоков (тредов) на процессор, он имеет компактный форм-фактор 1RU, позволяющий учесть ограничения вместимости ЦОД. Sun SPARC Enterprise TS120 применяет интегрированную бесплатную технологию виртуализации с открытым исходным кодом, позволяющую использовать более 2S00 изолированных доменов в каждой стойке [S].
В 2010 г. Sun Microsystems анонсировала модульный центр обработки данных Sun Modular Datacenter S20 (Project Blackbox). ЦОД отличают высокая плотность размещения вычислительных ресурсов, конструкция, разработанная с учетом экологических требований,
оперативность развертывания, экономичность, мобильность [6]. В том же году компания SeaMicro анонсировала высокопроизводительный сервер форм-фактора 10U на базе 512 процессоров Intel Atom Z530. По своим характеристикам он эквивалентен 40 стандартным двухпроцессорным серверам, построенным на базе 6-ядерных Intel Xeon, но занимает в 4 раза меньше места и потребляет в 3 раза меньше электроэнергии [7, 8].
В последние два года появились альтернативные решения и подходы в области организации производства серверного оборудования на базе RISC-процессоров, изначально разработанных для мобильных устройств. Так, компания ARM активно работает над созданием сервера на базе собственных RISC-процессоров ARM Cortex A8 и A9 (одно- и двухъядерный варианты) [9].
Компания Marvell разработала энергоэффективные процессоры Marvell MV78100 Sys-tem-on-a-Chip на базе ядер ARM. Компания SeaMicro также планирует использовать процессоры ARM на своей платформе, базирующейся на процессорах Intel Atom.
Процессоры Intel Atom и ARM Cortex до настоящего времени не рассматривались в качестве процессоров для решения серверных задач из-за ограничений на операции ввода/вывода и использование памяти. Тем не менее, все большее количество исследований показывает, что процессоры, предназначавшиеся ранее для мобильных решений, для использования в телефонах и нетбуках, могут обеспечить отличные показатели производительности на единицу потребляемой мощности (ssj_ops/watt) при решении большого спектра задач, связанных с web-приложениями.
Сходные работы по организации производства серверной платформы на процессорах Intel Atom ведет компания SeaMicro. Платформа, разработанная компанией в формате U10, содержит 512 процессоров Intel Atom Z530 [7].
Компания ARM анонсировала экспериментальный блейд-сервер на базе процессора Marvell MV78100 SoC, разработанного на основе ядер Cortex A9.
Конкурирующие продукты можно условно разделить на две группы. К первой относятся серверные решения на базе производительных процессоров, в первую очередь, архитектуры x86-64 (Intel, AMD) и SUltraSparc от Sun; такие серверы выпускают HP, Dell, IBM, Oracle (Sun).
Серверные решения второй группы позволяют существенно улучшить энергоэффективность дата-центров без потери производительности. В настоящее время SeaMicro разрабатывает сервер на базе процессоров Intel Atom, Smooth Stone — на базе ARM (промышленные образцы пока недоступны), Marvell — на базе ARM (созданы экспериментальные образцы).
Для сравнения были выбраны типовые представители архитектуры x86-64 (Dell PowerEdge R610), решения компании Oracle (Sun SPARC Enterprise T5440) и энергоэффективное решение от SeaMicro.
В таблице приведены характеристики серверного оборудования.
Характеристика Dell PowerEdge R610 SeaMicro SM10000 SPARC Enterprise T5440
Энергопотребление сервера, Вт 300—1000 Не более 2000 Не более 2700
Число процессоров 2 512 4
Число ядер 12 512 32
Производительность (показатель теста SpecInt Rate 2006) 349 — 301
Технологический процесс, нм 32 45 65
Тактовая частота, ГГц 2,93 1,33 1,4
Энергопотребление процессора, Вт 95 0,65—2,5 95
Многоядерный процессор (архитектура) Intel Xeon X5670 Intel Atom UltraSPARC T2 Plus
Эффективность работы серверов и серверных комплексов для дата-центров обеспечивается повышением эффективности их отдельных компонентов, таких как память, жесткие диски, процессоры и интерфейсы обмена данными. В настоящее время наиболее эффективным решением является память типа DDR3 [10]. Происходит переход от универсальных процессоров к специализированным, для решения определенных классов задач: хостинг, виртуализация, облачные вычисления.
Другим направлением развития серверных решений является совершенствование архитектуры серверных модулей, позволяющее обеспечить многозадачность и параллельные вычисления в больших массивах данных, например, при поиске в сети Интернет. Этого можно достичь путем создания гетерогенных масштабируемых серверных архитектур, а также путем увеличения числа многоядерных процессоров на одной серверной плате. Серверные модули в настоящее время включают в себя все большее количество процессоров на одной плате, каждый процессор — несколько ядер, а каждое ядро позволяет параллельно решать несколько вычислительных задач — тредов. Двухпроцессорные системы на базе Intel Xeon, например, позволяют поддерживать одновременно до 48 тредов.
Еще одним направлением является развитие новых форматов серверных платформ, позволяющих производить эффективную интеграцию всех компонентов системы. Появились новые решения, которые позволяют увеличить эффективность системы в целом: Cisco Unified Computer System и платформы advancedTCA и microTCA.
К основным технологиям и инструментальным средствам, используемым в производстве серверного оборудования, можно отнести массивно-параллельные компьютерные архитектуры; прототипирование на FPGA; специализированные операционные системы; открытое ПО; комплекс и серверные модули.
Массивно-параллельные архитектуры (МПА), до недавнего времени использовавшиеся лишь в суперкомпьютерах, в настоящее время реализуются не только в специализированных процессорах (мультимедиа, цифровая обработка сигналов) но и в серверных архитектурах и облачных вычислениях [10, 11]. Состоящий из множества узлов массивно-параллельный компьютер (МПК) способен показывать максимальную кумулятивную вычислительную мощность, равную сумме мощностей отдельных элементов. Эти значения зависят от класса задачи и ее решения, хорошо распараллеливаемые задачи — поиск и индексация [12].
С миниатюризацией технологий микроэлектроники становятся коммерчески выгодными реализации МПК на одном кристалле. Большинство современных графических процессоров содержит от нескольких десятков до тысяч отдельных процессоров. Появляются также новые универсальные однокристальные МПК (Intel SCC, Tilera) [13, 14], обладающие характеристиками, достаточными для построения мощных систем на одном или нескольких кристаллах.
Прототипирование на программируемых матрицах FPGA — наиболее распространенный метод снижения рисков и стоимости разработки микроэлектронных устройств, обладающий рядом преимуществ перед симуляционным моделированием и прототипированием на специализированных заказных больших интегральных схемах ASIC.
Лидеры рынка FPGA предлагают однокристальные комбинации FPGA и одного или нескольких процессорных ядер — Xilinx Virtex и Altera. В 2010 г. фирма Xilinx объявила о выпуске нового устройства Extensible Processing Platform, наряду с большим количеством логических модулей содержащего современный двухъядерный процессор ARM Cortex-A9 [15].
Специализированные операционные системы (ОС) позволяют эффективно решать широкий спектр задач. Массивно-параллельные компьютерные системы часто требуют специальной реализации компонентов с учетом специфики МПА аппаратуры и параллельного характера решаемых задач. Особо можно выделить потоковые и облачные вычисления.
Потоковые вычисления связаны с обработкой большого количества последовательных данных (пример — задачи поиска и индексации текста и, в особенности, гипертекстового по-
иска). Одной из главных причин создания специализированной ОС является необходимость эффективного управления потоками. Облачные вычисления связаны с задачами консолидации ресурсов МПА системы и их виртуализации. В настоящее время облачные вычисления являются одной из наиболее быстро развивающихся областей информационных технологий.
Открытое ПО. Многочисленные исследования свидетельствуют о том, что использование Open Source Software (OSS) позволяет существенно уменьшить трудозатраты и сократить срок разработки ПО. При этом одним из основных вопросов является лицензирование OSS.
Существует множество разных лицензий на использование OSS, одна из наиболее распространенных — Открытое лицензионное соглашение GNU (GNU General Public License, GPL) [l6], характерным признаком которой является принцип наследования прав („копилефт"), гарантирующий пользователям всех производных программ те же права, что относились к изначальной программе — право копирования, модификации и распространения. Лицензии BSD, MIT и Apache не содержат „копилефта". Также заметим, что существует ПО, выпускаемое под двойной лицензией, например BSD + GPL — некоторые лицензии OSS совместимы друг с другом. Выбор ПО, на котором будет базироваться специализированная ОС, обусловлено не в последнюю очередь тем, что на данном этапе условие „копилефта" было признано неприемлемым и необходимо воздерживаться от использования кода, лицензированного под GPL, в качестве основы. При этом допускается использование ПО под GPL в качестве инструментального и, возможно, основы для прикладного ПО, где требования GPL не противоречат стратегии.
Комплекс и серверные модули. Для реализации высокопроизводительных систем на базе современных многоядерных процессоров используется архитектура MicroTCA, обладающая возможностью: использования готовых промышленных модулей; оптимизации разработки интерконнекта за счет стандартизации интерфейса; использования стандартных механических элементов; масштабируемости за счет добавления новых модулей и крейтов; построения гетерогенных систем; построения систем высокой доступности; повторного использования крейта при замене модулей.
Альтернативными способами повышения энергоэффективности серверных комплексов для центров обработки являются эффективное использование существующих мощностей (пример: использование технологий виртуализации и облачных вычислений); новые решения архитектуры серверов и дата-центров (пример: Cisco Unified Computing System [l7]); использование новых способов охлаждения (пример: дата-центр морского базирования — патент от Google).
Таким образом, необходимо отметить следующие тенденции в области производства серверного оборудования для ЦОД:
— использование многоядерных архитектур, поддерживающих одновременно большое количество потоков для решения задач параллельной обработки;
— переход от жесткой привязки к привычным платформам, особенно в секторе крупного бизнеса, к альтернативным архитектурам;
— разработка энергоэффективных и ресурсосберегающих решений, способных при той же производительности снизить потребление энергии и уменьшить занимаемое пространство в дата-центрах;
— разработка интегрированных модульных решений, обеспечивающих дополнительную экономию ресурсов дата-центров за счет компактного размещения интеллектуальной системы управления ресурсами модуля, а также увеличивающих мобильность развертывания модулей и перемещения их между дата-центрами;
— повышение эффективности отдельных компонентов;
— увеличение уровня многозадачности, гетерогенности и специализации серверных архитектур;
— повышение эффективности управления серверными платформами в целом.
Статья написана по результатам выполнения проекта „Разработка и организация высокотехнологичного производства энергоэффективных многопроцессорных аппаратно-программных серверных комплексов для государственных и корпоративных информационных систем и центров обработки данных", выигранного в рамках Открытого конкурса по отбору организаций на право получения субсидий на реализацию комплексных проектов по созданию высокотехнологичного производства (постановление Правительства РФ от 09 апреля 2010 г. № 218).
список литературы
1. IDC: Press release: Worldwide Server Market Revenues Increase 4.7% in First Quarter as Market Demand Improves Sharply, According to IDC [Электронный ресурс]: <http://www.idc.com/getdoc.jsp?containerId=prUS22360110>.
2. HP servers [Электронный ресурс]: <http://h71028.www7.hp.com/enterprise/cache/418226-0-0-178-352.html>.
3. Dell servers [Электронный ресурс]: <http://www.dell.com/business/servers>.
4. IBM servers [Электронный ресурс]: <http://www.ibm.com/products/shop/servers/us/en/>.
5. Oracle: Sun servers [Электронный ресурс]: <http://www.oracle.com/us/products/servers-storage/servers/index.html>.
6. Oracle: Project Blackbox [Электронный ресурс]: <http://www.sun.com/emrkt/blackbox/story.jsp>.
7. SeaMicro: The SM10000 High Density, Low Power Server [Электронный ресурс]: <http://www.seamicro.com/ ?q=node/38>.
8. EE Times: Startup SeaMicro packs 512 Intel Atoms in server [Электронный ресурс]: <http://www.eetimes.com/ electronics-news/4200132/Startup-SeaMicro-packs-512-Intel-Atoms-in-server>.
9. EE Times: Europe funds ARM-based server research [Электронный ресурс]: <http://www.eetimes.com/electronics-news/4200544/Europe-funds-ARM-based-server-research->.
10. Wikipedia: Dynamic random access memory [Электронный ресурс]: <http://en.wikipedia.org/wiki/ Dynamic_random_access_memory>.
11. Butts M., Budlong B., Wasson P., White E. Reconfigurable Work Farms on a Massively Parallel Processor Array // Proc. of FCCM. IEEE Computer Society April 2008.
12. MapReduce [Электронный ресурс]: <Simplified Data Processing on Large Clusters http://labs.google.com/papers/ mapreduce-osdi04.pdf>.
13. Single-chip Cloud Computer [Электронный ресурс]: <http://techresearch.intel.com/articles/Tera-Scale/1826.htm>.
14. Tilera Talks 100-Core Processor [Электронный ресурс]: <http://www.eweek.com/c/a/IT-Infrastructure/Tilera-Talks-100Core-Processor-376613/>.
15. More on Xilinx EPP [Электронный ресурс]: <http://www.design-reuse.com/industryexpertblogs/23574/xilinx-epp.html>.
16. The GNU General Public License [Электронный ресурс]: <http://www.gnu.org/licenses/gpl.html>.
17. Cisco Unified Computing System [Электронный ресурс]: <http://www.cisco.com/web/solutions/data_center/ unifiedcomputing_promo.html>.
Сведения об авторах
Юрий Львович Леохин — д-р техн. наук, профессор; Московский институт электроники и матема-
тики Национального исследовательского университета „Высшая школа экономики"; E-mail: yleokhin@hse.ru
Игорь Николаевич Дворецкий — Московский институт электроники и математики Национального исследовательского университета „Высшая школа экономики"; научный сотрудник; E-mail: idvoretskiy@hse.ru
Рекомендована кафедрой Поступила в редакцию
НИУ ВШЭ 01.11.13 г.
