ИСПОЛЬЗОВАНИЕ ВЫСОКОПРОИЗВОДИТЕЛЬНЫХ ВЫЧИСЛИТЕЛЬНЫХ СИСТЕМ В УНИВЕРСИТЕТАХ Текст научной статьи по специальности «Компьютерные и информационные науки»

ПРОБЛЕМЫ ВЫСШЕГО ОБРАЗОВАНИЯ

УДК 004.386

Использование высокопроизводительных вычислительных систем в университетах

Е.С.Дорошенко, С.А.Лупин, И.В.Подкопаев

Московский государственный институт электронной техники (технический университет)

Рассмотрена проблема построения высокопроизводительных вычислительных систем в университетах, а также возможные примеры ее решения в России и за ее пределами.

Высокопроизводительные вычисления занимают значительное место в таких областях человеческой деятельности, как машиностроение, энергетика, телекоммуникации, финансы, химическая промышленность, наука, образование. Современные высокопроизводительные вычислительные системы (ВВС, High Performance Computing, Supercomputing, HPC, SC) представляют собой сложный комплекс, параметры которого определяются не только характеристиками отдельных компонентов (процессоров, памяти, систем хранения и коммутации), но и архитектурой. Крупнейшие производители электронных компонентов (IBM, HP, SUN, Intel, AMD) вкладывают огромные финансовые ресурсы для совершенствования своих продуктов.

Для эффективного использования и обеспечения работоспособности таких сложных и дорогостоящих систем необходим персонал, способный решать комплексные задачи. В связи с этим подготовка высококвалифицированных кадров в области ВВС сегодня является одной из приоритетных задач высшей школы. Такое обучение должно сопровождаться получением практического опыта работы с высокопроизводительными комплексами. Сложность построения и использования, а также стоимость ВВС зависят от архитектуры.

Традиционно архитектуры многопроцессорных вычислительных систем (ВС) делятся на системы с общей (SMP) и распределенной (NUMA) памятью (рис.1).

а б

Рис.1. Архитектуры многопроцессорных ВС: а - SMP; б - NUMA

© Е.С.Дорошенко, С.А.Лупин, И.В.Подкопаев, 2009

Классический пример SMP-систем с общей памятью - многопроцессорные комплексы SUN [1], а также все более популярные многоядерные процессоры [2, 3]. Достоинства таких систем: 1) высокая скорость и низкая латентность связи между процессорами; 2) простота программирования. Основным недостатком является низкая масштабируемость, что существенно ограничивает возможности применения SMP-архитектуры для создания многопроцессорных систем.

Системы NUMA обладают более слабой связью между вычислительными узлами, что значительно усложняет создание программ для них, при этом позволяют строить многопроцессорные системы с большим (1000 и более) числом узлов. Системы с по- Рис.2. Архитектура систем TOP500: добной архитектурой, называемые кластерами, пре- И кластеры; ■ MPP; ■ остальные обладают в списке ТОП500 [4] (рис.2, табл.1).

Таблица 1

Распределение систем ТОП500 по числу процессоров

Количество процессоров Число систем Доля, % Суммарная реальная производительность, Гфлопс Суммарная пиковая производительность, Гфлопс Суммарное число процессоров

65-128 3 0,60 33883 40346 288

257-512 1 0,20 9303 15362 1440

513-1024 6 1,20 67531 84765 6006

1025-2048 192 38,40 2125128 3434441 323738

2049-4096 207 41,40 3169546 5480491 600384

4k-8k 54 10,80 1476479 2085792 318834

8k-16k 23 4,60 1475806 1953936 258216

16k-32k 6 1,20 595890 737231 158785

32k-64k 5 1,00 791951 1083801 247296

64k-128k 1 0,20 1026000 1375780 122400

128k+ 2 0,40 928500 1153434 376832

Totals 500 100 11700016,97 17445379,70 2414219

Системами с распределенной памятью являются суперкомпьютеры МВС-15000, IBM RS/6000 SP, SGI/CRAY T3E, системы ASCI, Hitachi SR8000, Parsytec и др.

Наибольшее распространение получила гибридная архитектура ВВС (рис.3), в которой узлы являются системами с общей памятью (многоядерные процессоры), а вычислитель в целом представляет собой систему с распределенной памятью. Такие системы позволяют использовать достоинства обеих архитектур.

CPU

CPUN

Модуль памяти

CPU1

CPUN

Модуль памяти

Коммутатор

Модуль памяти CPU1I ... |СРШ

Модуль памяти CPU1I ••• |СРШ

Рис.3. Гибридные вычислительные системы

В списке ТОП500 суперкомпьютеров мира подобные системы составляют 81,2% от общего их количества, причем в большинстве случаев узлы являются двух- или четы-рехпроцессорными.

Таким образом, можно сделать вывод о том, что именно гибридная архитектура является наиболее перспективной для ВВС в вузах ввиду ее хорошей масштабируемости, широкой распространенности и актуальности на мировом рынке.

Кластеры, построенные на основе гибридной архитектуры с помощью стандартных компонентов (серийно выпускаемых процессоров, систем хранения и коммутации), относятся к малобюджетным решениям. Затраты на их содержание и обслуживание незначительно превышают стоимость поддержки стандартных компьютерных классов. Кластерные системы давно используются в некоторых вузах России и особенно широкое распространение получили за рубежом [5, 6].

Помимо непосредственно архитектуры на функционирование и производительность кластера влияют и такие факторы, как используемая операционная система (ОС), тип и скорость межузловых соединений, а также наличие дополнительных управляющих сетей или сетей ввода/вывода.

Традиционно при построении ВВС использовались операционные системы, UNIX-подобные системы и, в частности, Linux. Их преимуществом являлось свободное распространение, а также возможность модификации исходного кода самой операционной системы с учетом особенностей конкретного вычислительного комплекса (табл.2). Однако в кластерах, созданных из стандартных компонентов, необходимость в этом практически отсутствует. В то же время существующие решения от Microsoft и других производителей программного обеспечения позволяют использовать гораздо более распространенные операционные системы для настольных и серверных ПК семейства Windows, не теряя при этом в производительности и стабильности. Основным продуктом Microsoft, обеспечивающим высокопроизводительные вычисления, является Windows Compute Cluster Server 2003 (и более новая версия High Performance Computing Server 2008), включающий в себя MS MPI - библиотеку обмена сообщениями между узлами в распределенной системе, а также системы постановки заданий, распределения задач по вычислительным узлам и мониторинга.

Таблица 2

Распределение систем ТОП500 по используемым ОС

Семейство ОС Число систем Доля, % Суммарная реальная производительность, Гфлопс Суммарная пиковая производительность, Гфлопс Суммарное число процессоров

Linux 427 85,4 8465100 13333004 1408054

Windows 5 1,00 159264 211320 25472

Unix 25 5,00 619912 874185 73174

BSD Based 1 0,20 35860 40960 5120

Mixed 40 8,00 2391451 2941095 897127

Mac OS 2 0,40 28430 44816 5272

Всего 500 100 11700016,97 17445379,70 2414219

Необходимо отметить, что обслуживание ВВС, приобретенной в рамках инновационной программы только для образовательных целей, становится ощутимо для бюджета вуза. Заслуживает внимания инициатива компании Microsoft [7], предлагающей программы, направленные на использование вузовских вычислительных мощностей коммерческими компаниями в свободное от учебного процесса время. Это позволяет отчасти решить проблему финансирования и окупаемости вузовских высокопроизводительных систем.

В табл.3 приведена статистика направлений использования ВВС в целом по ТОП500.

Таблица 3

Распределение систем ТОП500 по направлению использования

Направление Число систем Доля, % Суммарная реальная производительность, Гфлопс Суммарная пиковая производительность, Гфлопс Суммарное число процессоров

Образование 98 19,60 2660953 3665231 496496

Секретные структуры 1 0,20 33929 40622 7812

Правительственные струк- 10 2,00 232149 375777 38008

туры

Промышленность 287 57,40 3853885 6934105 725976

Другое 2 0,40 23927 42049 3952

Исследования 91 18,20 4670887 6076576 1097919

ВВС фирм-производителей 11 2,20 224286 311019 44056

Всего 500 100 11700016,97 17445379,70 2414219

Таким образом, 19,6% наиболее высокопроизводительных систем в мире установлены в академических структурах и используются в образовательных целях. При этом необходимо отметить, что доля коммерческого использования этих систем пока невелика.

С точки зрения архитектуры вычислительных систем ситуация в вузах в целом соответствует тенденциям остальных сегментов рынка ВВС. Университеты чаще всего приобретают кластеры. Отличия определяются спецификой решаемых задач: одни нуждаются в большом дисковом пространстве, а для других важнее производительность коммуникаций.

К примеру, в Оклахомском университете более трех лет функционирует и активно используется для обучения и различного рода вычислений следующий кластер (topdawg) [5]:

• теоретическая производительность - 6,553 Тфлопс;

• 512 вычислителей - 2хPentium4 Xeon 3,2 ГГц, 2 Мбайт L2 cache;

• общая оперативная память 2,176 Тбайт;

• Hard Disk SATA; 18,626 Гбайт, EON RAID SATA; 11,175 Гбайт;

• коммуникационная сеть InfiniBand на оборудовании Cisco (пропускная способность сети 5 Гбит/с);

• сеть ввода/вывода - GigaBit Ethernet (всего 576 портов), пропускная способность 976 Мбит/с;

• управляющая сеть - Fast Ethernet (всего 768 портов);

• операционная система Red Hat Linux Enterprise 4.0 (kernel 2.6.9);

• реализация MPI - MPICH;

• математические библиотеки - BLAS, LAPACK, scaLAPACK.

Заметим, что используются три различных по функционалу и производительности сети: сеть ввода/вывода, управляющая сеть и непосредственно коммуникационная. Такое разделение стало почти стандартом для крупных кластеров, что позволяет освободить коммуникационную сеть от взаимодействия с внешними накопителями, а также от различного рода управляющих сигналов.

Традиционным является использование операционной системы Linux, однако на момент создания этого кластера системы для параллельных вычислений под Windows еще только создавались.

Другим ярким представителем зарубежных ВВС в вузах является Indiana university Big Red Cluster [6]. Его аппаратная конфигурация приведена ниже:

Элемент конфигурации Вычислительный узел (768 JS21) Пользовательский узел (4 JS21) Узлы-хранилища (16 pSeries 505):

Процессор 2 x 2,5 ГГц dual-core PowerPC 970MP 2 x 2,5 ГГц dual-core PowerPC 970MP 2 x 1,65 ГГц dual-core Power5+

ОЗУ 8 Гбайт 533 МГц DDR2 SDRAM

HDD 73 Гбайт SAS disk

Сеть 1 x Myricom M3S-PCIXD-2-I 1 x Myricom M3S-PCIXD-2-I 2 x Emulex LP10000 PCI-X FC adapters

Система коммутации: четыре 256-портовых коммутатора Myricom M3-CLOS-ENCL обеспечивают 2 + 2 Гбит/с низколатентную среду передачи для 768 вычислительных узлов. Хранилища данных: дисковое пространство для 266 Тбайт GPFS располагается на 10 сетевых хранилищах DataDirect Networks S2A 9500, каждое из которых имеет двойное подключение к пяти SAF 4248 массивам. Физические диски объединены в RAID-массив 8 + 2, совмещенный с двойной коммутацией и активными GPFS узлами-хранилищами. Такая организация обеспечивает многоуровневую избыточность и надежность для дискового пространства. Домашние папки пользователей доступны через NFSv3 по Gigabit Ethernet.

Данный кластер использует процессоры PowerPC, что делает Linux единственно возможной операционной системой. Кроме того, используемая сеть Myrinet обладает сверхнизкими задержками, что положительно сказывается на производительности кластера и значительно увеличивает его стоимость.

Несмотря на то что высокопроизводительные вычисления в России гораздо менее распространены, чем в США или Европе, есть вузовские кластеры и в России. Шесть из них представлены в Т0Р50 (табл.4).

В 2006 г. в рамках Национального проекта «Образование» создан суперкомпьютерный центр мирового уровня в Томском государственном университете (один из победителей Всероссийского конкурса инновационных образовательных программ). Характеристики данного кластера [8]:

- число вычислительных узлов/процессоров - 283/566 (1132 ядра);

- тип процессора - двухъядерный Intel Xeon 5150, 2,66 ГГц;

- пиковая производительность - 12 Тфлопс;

- производительность на тесте Linpack - 9 Тфлопс, 75 % от пиковой;

- тип системной сети - QLogic InfiniPath;

- скорость передачи сообщений между узлами - не менее 950 Мбит/с;

- тип управляющей (вспомогательной) сети - Gigabit Ethernet;

- тип сервисной сети - СКИФ-ServNet;

- оперативная память - 1,1 Тбайт;

- дисковая память узлов - 22,5 Тбайт;

- объем системы хранения данных - 10 Тбайт;

- суммарная длина кабельных соединений - более 2 км;

- операционная система Windows Compute Cluster Server.

Таблица 4

ВВС российских вузов, представленные в списке ТОП500

Позиция Организация Система Число ядер Реальная производительность, Тфлопс Пиковая производительность, Тфлопс

36 Вычислительный центр МГУ T-Platforms T60, Intel Quadcore 3 ГГц, Infiniband DDR, SKIF/T-Platforms 5000 47,17 60,00

56 МСЦ РАН Cluster Platform 3000 BL460c, Xeon 53xx 3 ГГц, Infiniband, Hewlett-Packard 3760 33,89 45,12

169 Уфимский государственный авиационно-технический университет BladeCenter HS21 Cluster, Xeon quad core 2.33 ГГц, Infiniband, IBM 2128 15,33 19,86

252 Сибирский национальный университет BladeCenter HS21 Cluster, Xeon quad core 2.33 ГГц, Infiniband, IBM 1808 13,06 16,87

282 Южно-уральский государственный университет T16 Cluster, Intel E54xx 3 ГГц, Infiniband DDR, T-Platforms 1328 12,20 5,94

484 Томский государственный университет Xeon Cluster, QLogic InfiniPath, T-Platforms 1128 9,01 12,00

Основной особенностью этого решения является использование операционной системы Windows Compute Cluster Server. Кластер СКИФ Cyberia стал первым вузовским кластером такого масштаба, использующим не Linux-подобную ОС.

Интересным проектом является создание в Межведомственном суперкомпьютерном центре Российской академии наук (МСЦ РАН) суперкомпьютера с пиковой производительностью 100 Тфлопс для проведения научных вычислений. Строительство осуществляется в три этапа.

На первом этапе проекта по модернизации вычислительной системы был развернут кластер, состоящий из 160 блейд-серверов НР BladeSystem c-Class на базе двухъядер-ных процессоров Intel® Xeon® 5160 и архитектуры InfiniBand. На момент внедрения

кластера это была одна из крупнейших установок на базе блейд-серверов c-Class в мире. Производительность вычислительной системы достигала 7,7 Тфлопс.

В рамках второго этапа проекта совместно с компаниями HP и Intel инициировали расширение вычислительного кластера до 470 блейд-серверов HP ProLiant BL460c (3760 вычислительных ядер) на базе новейших четырехъядерных процессоров Intel® Xeon® 5365, что позволило увеличить пиковую производительность системы до 45 Тфлопс. После завершения третьего этапа проекта в 2008 г. пиковая производительность вычислительной системы достигла 100 Тфлопс.

Планомерное развитие вычислительных мощностей МСЦ РАН способствует взаимной интеграции российского и мирового научных сообществ. Необходимо отметить, что институты РАН и университеты могут использовать ресурсы МСЦ для проведения вычислений, необходимых для решения широкого круга научно-практических задач. Доступ к ним из сетей проекта GÉANT и из научных сетей США осуществляется через каналы, имеющие общую пропускную способность 622 Мбит/с.

Пользователи могут обращаться к ресурсам МСЦ с рабочих мест на основе UNIX-станций, X-терминалов и персональных компьютеров непосредственно в специализированном зале, а также удаленно через сеть Интернет, используя защищенные методы соединения.

При МСЦ работают базовые кафедры Московского физико-технического института (МФТИ), Московского государственного института электронной техники (МИЭТ), Московского института радиотехники, электроники и автоматики (МИРЭА), на которых обучаются более 70 студентов. Это позволяет отчасти решить проблему доступа учащихся к высокопроизводительным системам, но ввиду возрастающей потребности в кадрах, способных работать с ВВС, каждому вузу, осуществляющему подготовку современных IT-специалистов, необходимо иметь и собственные системы.

Одно из возможных решений - это приобретение мощной ВВС, способной обеспечить как учебные, так и научные потребности института (например, Томский государственный университет). Другое решение предполагает наличие в университете ВВС с производительностью порядка 1 Тфлопс, что вполне достаточно как для учебного процесса, так и для большинства НИР.

Вычислительный кластер, созданный в 2008 г. в МИЭТ, - представитель второго решения. Он состоит из 40 узлов, 26 из которых установлены в обычном компьютерном классе и имеют следующую конфигурацию:

- процессор - 2хШе1 XEON E5335 (2,0 ГГц, quad-core);

- ОЗУ - 4x1 Гбайт FBDIMM 5300;

- HDD - SATA 250 Гбайт;

- сеть - 2x Intel PR01000/EB Gigabit Ethernet;

- OS MS Windows HPC Server RC 1.

В основе кластера лежит архитектура CoPC (Cluster of PCs), что позволяет использовать его как для обучения студентов, так и для проведения вычислений в свободное от занятий время. Оставшиеся 14 узлов кластера представляют собой массив blade-серверов следующей конфигурации:

- процессор - 2хМ XEON E5130 (2,0 ГГц, dual-core);

- ОЗУ - 4x1 Гбайт FBDIMM 5300;

- HDD - SCSI 73 Гбайт;

- сеть - 2x Intel PR01000/EB Gigabit Ethernet;

- OS MS Windows HPC Server RC 1.

В совокупности с подключенным к высокоскоростным дисковым хранилищем SAS 350 Гбайт blade-массив является постоянно доступной его частью и может использоваться в дневное время для проведения вычислений, когда основные узлы заняты, или в качестве дополнительных вычислительных мощностей в вечернее время. Кластер использует в качестве операционной системы MS Windows HPC Server RC 1, что упрощает его интеграцию в образовательный процесс и облегчает подготовку специалистов для работы с ВВС. Пиковая производительность основной части кластера составляет 1,6 Тфлопс, производительность на тесте Linpack достигает 871,5 Гфлопс, что позволяет кластеру занять 43-е место в списке ТОП50 суперкомпьютеров России и СНГ.

Из приведенных результатов следует, что кластер с архитектурой CoPC является экономически оправданным решением для вузов. Оно совмещает в себе современный компьютерный класс, ориентированный на подготовку в области параллельных вычислений, и высокопроизводительную систему, имеющую вполне достойную производительность и эффективность, которая может быть использована для выполнения коммерческих расчетов.

Литература

1. http://www.sun.com

2. http://www.intel.com

3. http://www.amd.com

4. http://top500.org/

5. http://www.oscer.ou.edu/docs/hardsoit_dell_cluster_pentium4xeon.php

6. http ://rc.uits.iu. edu/hps/research/bigred/

7. http ://www. microsoft. com/rus/hpccall/

8. http://www.thg.ru/technews/20070217_144613.html

Статья поступила 7 ноября 2008 г.

Подкопаев Илья Викторович - инженер кафедры вычислительной техники (ВТ) МИЭТ. Область научных интересов: параллельные вычисления, высокопроизводительные вычислительные системы.

Дорошенко Елена Сергеевна - инженер кафедры ВТ МИЭТ. Область научных интересов: параллельные вычисления, высокопроизводительные вычислительные системы.

Лупин Сергей Андреевич - кандидат технических наук, профессор кафедры ВТ МИЭТ. Область научных интересов: информационно-управляющие и информационные системы, параллельные вычисления, кластерные вычислительные системы.

Важная информация

Журнал «Известия высших учебных заведений. Электроника» включен в Российский индекс научного цитирования