CC BY
6
УДК 004.35
Тимофеев К.В. студент бакалавриата 3 курса кафедра «Компьютерные системы и технологии»
Протопопова Ю.Д. студент специалитета 5 курса кафедра «Компьютерные системы и технологии» Национальный исследовательский ядерный университет «МИФИ»
Россия, г. Москва Тоичкин Д.В. студент бакалавриата 4 курса кафедра Компьютерной инженерии Донецкий Национальный Технический Университет
Украина, г. Донецк Ключникова Б.В. студент бакалавриата 4 курса кафедра «Биохимия и биотехнология» Казанский (Приволжский) федеральный университет
Россия, г. Казань
АНАЛИЗ АРХИТЕКТУРЫ СУПЕРКОМПЬЮТЕРА YELLOWSTONE
Аннотация: в современном мире суперкомпьютеры являются одним из самых необходимых инструментов при любом моделирование сложных систем. Планета Земля, а точнее её атмосфера, является такой системой. Для предсказания её поведения используется немало суперкомпьютеров. В данной статье анализируется суперкомпьютер Yellowstone, а также разработана структурная нотация его компонентов.
Ключевые слова: суперкомпьютер, прогноз погоды, вычислительные кластеры.
Timofeev K. V., undergraduate student, third course Department of Computer Systems and Technologies National Research Nuclear University MEPhI
Moscow, Russia
Protopopova Ju.D., undergraduate student, fifth course Department of Computer Systems and Technologies National Research Nuclear University MEPhI
Moscow, Russia
Toichkin D. V., undergraduate student fourth course Department of Computer Engineering Donetsk National Technical University
Donetsk, Ukraine
Klyuchnikova B. V., undergraduate student, fourth course Deparment of
Biochemistry and Biotechnology Kazan (Volga region) Federal University
Kazan, Russia
ANALYSIS OF ARCHITECTURE OF YELLOWSTONE SUPERCOMPUTER
Annotation: supercomputers are one of the most important instruments in the modern world. We use supercomputers to simulate complex systems. Earth atmosphere is the example of complex system. There are a lot of supercomputers uses to predict the atmosphere behavior. This report is about analysis of architecture of Yellowstone supercomputer. We also developed a structure notation of this supercomputer.
Key words: supercomputer, weather predication, calculating clusters.
Введение
В современном мире суперкомпьютеры являются одним из самых необходимых инструментов при любом моделирование сложных систем. Планета Земля, а точнее её атмосфера, является такой системой. Для предсказания её поведения используется немало суперкомпьютеров.
Yellowstone — это суперкомпьютер, который был построен компанией IBM для Computational & information system lab (CISL), которая является подразделением National Center for Atmospheric Research (NCAR).
Yellowstone - первый появившийся в National Center for Atmospheric Research суперкомпьютер. Это подразделение занимается исследование сложных процессов, протекающих в атмосфере Земли, океанах, ледяных шапках Арктики и Антарктики. Суперкомпьютер позволяет ускорить научные исследования в области изменения климата, суровой погоды, геомагнитных бурь, поглощения углерода, авиационной безопасности, лесных пожаров и многих других тем.
Для решения данных задач, необходимы мощности суперкомпьютеров. С этой целью и был разработан суперкомпьютер Yellostone, установленный в NCAR. Мощности суперкомпьютера позволяют моделировать процессы, протекающие в природе. Yellowstone был введён в эксплуатацию летом 2012 года. Суперкомпьютер состоит из 72288 ядер, с рабочей частотой в 2.60GHz и оперативной памяти объёмом в 144.58 ТБ, распределённой между процессорами. При прохождении тестирования на производительность LINPACK Суперкомпьютер Yellowstone показал производительность 1.26 PFLOPS и занял 13 место. По состоянию на 06/2017 Yellowstone занимает 92 место [1].
5. Описание системы
Суперкомпьютер Yellowstone построен на восьмиядерных процессорах Intel Xeon E5-2670. Вычислительный узел основан на базе iDataPlex dx360 M4 состоит из двух процессоров, к каждому из которых установлено по 16 гб оперативной памяти (4 плашки по 4 Гб). Всего в суперкомпьютере содержится 4536 узлов. Таким образом, всего Yellowstone содержит в себе 72288 ядра. Суммарное количество оперативной памяти на узел составляет 32 Гб. А общий объём памяти на суперкомпьютер составляет 144.58 ТБ [2].
Также в Yellowstone присутствуют 6 "login node", которые имеют по 128ГБ оперативной памяти на узел. При подключении пользователя к суперкомпьютеру, например через SSH, пользователь попадает на один из этих узлов. Эти узлы включены в общую топологию сети Yellowstone. После этого пользователь может запустить свои программы на выделенных ему вычислительных узлах.
Объединение узлов в сеть осуществляется по топологии Full Fat Tree при помощи сети InfinitiBand FDR. Производительность сети составляет 13.6 ГБ/с на узел и 31.7 TБ/с на весь кластер. Более подробное описание объединения узлов в сеть описано ниже [3].
6. Intel Xeon E5-2670
Базовыми элементами суперкомпьютера является процессор Intel Xeon E5-2670. Intel Xeon E5-2670 - это 8-ядерный однокристальный микропроцессор, выпускаемый компанией Intel. Линейка процессоров Xeon ориентирована на серверные системы и отличается увеличенной кэш памятью и поддержкой многопроцессорных систем.
Intel Xeon E5-2670 построен на базе микроархитектуры Sandy Bridge по 32 нм технологии. Процессор работает на тактовой частоте 2,60 GHz, содержит 8 ядер, каждое из которых имеет 2 потока. Поддерживается память DDR3 частотой до 1600MHz. Кэш память первого уровня 8-канальный и разбит на кэш данных и кэш команд, каждый из которых имеет объём 32кб. Кэш второго уровня также 8-канальный, раздельный для каждого ядра, его размер составляет 256кб. Кэш третьего уровня 16-канальный и общий для всех ядер. Процессор устанавливается в сокет FCLGA2011.
На рисунке 1 показана архитектура процессора Intel Xeon E5-2670. На нём изображены 8 ядер, участки кэш памяти третьего уровня по 2.5МБ в каждом (LLC), контроллер шины QPI, Контроллер ввода/вывода, Контроллер PCIe, и контроллер памяти DDR3. Все эти компоненты объединены между собой кольцевой двунаправленной шиной.
Рисунок 1 — Основные части процессора Intel Xeon E5-2670. 3. iDataPlex dx360 M4
iDataPlex dx360 M4 - это компактная серверная система, которая предназначена для организации центров обработки данных и суперкомпьютеров. Система ориентирована на повышение плотности вычислений, и уменьшение энергозатрат. Охлаждение процессоров и оперативной памяти происходит за счёт вентиляторов в задней части корпуса. На рисунке 2 изображена система iDataPlex dx360 M4, в которой присутствуют два сокета FCLGA2011, в которые устанавливаются два процессора Intel Xeon E5-2670, 8 слотов под оперативную память на каждый
Рисунок 2 — Система iDataPlex dx360 M4
Для связи вычислительного узла с сетью InfinitiBand в Yellowstone применяется сетевая карта Mellanox FDR, обеспечивающая пропускную способность 100 Гбит/с. Mellanox FDR подключается по интерфейсу PCIe 3.0.
4. Организация сети в Yellostone
Топология сети, используемая в Yellowstone, называется Full Fat Tree. В отличие от топологии дерево, в утолщенном дереве с каждым уровнем по мере приближения к корню дерева связи становятся более широкими по пропускной способности. Для связи узлов c коммутаторами используется компьютерная сеть InfinitiBand, которая имеет очень большую пропускную способность и низкую задержку. Для передачи информации в InfinitiBand используются медные кабели. Для передачи последовательных сигналов используются дифференциальные пары. Такой подход позволяет повысить помехоустойчивость и использовать высокочастотные сигналы на дешёвых медных кабелях. Одна дифференциальная пара передаёт данные в одну сторону, две пары образуют одну базовую двунаправленную шину, обозначаемую 1х. На практике используются несколько агрегированных в один кабель базовых шин. В Yellowstone применяются кабели 4x, имеющие разъём QSFP и состоящие из четырёх шин.
5. Архитектура и структурная нотация
Процессор Intel Xeon E5-2670 имеет архитектуру SMP поскольку все 8 ядер работают с общей оперативной памятью. Узел на базе сервера iDataPlex dx360 M4 имеет архитектуру MPP, поскольку обмен данными между процессорами обеспечивается с помощью специальных библиотек, которые позволяют пересылать данные через шину QPI. Оперативная память у каждого процессора своя оперативная память разделена между процессорами. Суперкомпьютер Yellowstone является
высокопроизводительным вычислительным кластером (ClusterHPC), поскольку представляет из себя множество серверов, объединенных высокопроизводительной сетью. Ниже приведена структурная нотация.
Core (Intel Xeon E5-267G Core) = {6B64, 2F64, Br, Cshimrá, Cshd 132кб, Csh2256rá};
PSMP (Intel Xeon E5-267G) = Ipv64[ 8Core2.6^, MCtrl (DDR3), I/O (PCIe3.G32)];
NodelMPP = <QPI32 ГБ/с > [2 {PSMP ^5G ГБ/с ^4M4GB DDR31бGGМГц}, I/O (PCIe)];
BldMPP = <iDataPlex dx36G M4> [ Nodel ^PCIe 3.G256 ГБит/с ^ IO (Mellanox)];
Node2ClusterHPC = < Switch (Mellanox SX6G36) InfinitiBand FDR13.6 ГБ/с > [l8Bld];
Заключение
Tensor Processing Unit является проявлением важной тенденции в вычислительной технике: когда рост производительности центральных процессоров за счет увеличения числа транзисторов сильно замедляется, приходится изыскивать пути ускорения вычислений путем разработки специализированных устройств под конкретные задачи. Одной из таких задач является вычисления для нейронных сетей. Выигрыш здесь состоит в том, что в этих алгоритмах используется очень ограниченный набор операций, а технология применима к огромному числу сфер человеческой деятельности, которые даже невозможно формализовать.
Использованные источники:
1. Arthur Trew (Editor), Greg Wilson (Editor). Past, Present, Parallel: A Survey of Available Parallel Computer Systems. — Springer, 1991. — С.124.
2. Суперкомпьютерные технологии в науке, образовании и промышленности / Под редакцией: академика В. А. Садовничего, академика Г. И. Савина, чл.-корр. РАН Вл. В. Воеводина.-М.: Издательство Московского университета, 2009.- С. 232
3. Williams S., Waterman A., Patterson D. Roofline: an insightful visual performance model for multicore architectures //Communications of the ACM. -2GG9. - Т. 52. - No. 4. - С. 65-76.
