CC BY
85
Информационные технологии Вестник Нижегородско го университета им. Н.И. Лобачевского, 2009, № 5, с. 200-210
УДК 004.382.2
СУПЕРЭВМ РЯДА 4 СЕМЕЙСТВА «СКИФ»: ШТУРМ ВЕРШИНЫ СУПЕРКОМПЬЮТЕРНЫХ ТЕХНОЛОГИЙ*
© 2009 г. С.М. Абрамов, В. Ф. Заднепровский, А.Б. Шмелёв, А.А. Московский
Институт программных систем им. А.К. Айламазяна РАН abram@botik.ru
Поступила в редакцию 08.05.2009
Описывается проект создания отечественных суперЭВМ ряда 4 семейства «СКИФ». В его рамках разрабатываются самые современные суперкомпьютерные технологии: сверхплотная упаковка вычислительной мощности, жидкостное охлаждение печатных плат, новые решения в части системной, вспомогательной и сервисных сетей. Впервые в суперЭВМ ряда 4 семейства «СКИФ» отечественная интеллектуальная собственность будет охватывать все конструкции, все печатные платы, то есть все, кроме микросхем. Планируемая достижимая максимальная пиковая производительность1 данных суперЭВМ: 0.5 Pflops к осени 2009 года, 1 Pflops к осени 2010 года, более 5 Pflops к весне 2012 года.
Ключевые слова: суперЭВМ, суперкомпьютерная программа «СКИФ-ГРИД».
1. Суперкомпьютерные программы Союзного государства
1.1. Суперкомпьютерная программа «СКИФ». Суперкомпьютерная программа «СКИФ» Союзного государства России и Беларуси [1] выполнялась в 2000-2004 годах. Полное название программы - «Разработка и освоение в серийном производстве семейства моделей высокопроизводительных вычислительных систем с параллельной архитектурой (суперкомпьютеров) и создание прикладных программноаппаратных комплексов на их основе» - точно определяло содержание работ.
Г оловными исполнителями программы «СКИФ» являлись: со стороны Беларуси - Объединенный институт проблем информатики Национальной академии наук Беларуси, со стороны России - Институт программных систем (ИПС) Российской академии наук.
Заказчики-координаторы программы «СКИФ»: со стороны Беларуси - Национальная академия наук Беларуси, со стороны России - Федеральное агентство на науке и инновациям.
Суперкомпьютерная программа «СКИФ» -это серьезная, комплексная программа, в рамках которой по единой концепции создавался широкий спектр моделей семейства «СКИФ» и
* Статья рекомендована к печати программным комитетом Международной научной конференции «Параллельные вычислительные технологии 2009» (http:// agora.guru.ru/pavt).
обеспечивалась возможность подбора конфигураций, оптимальных для различных применений. Девятнадцать мероприятий программы покрывали все сферы суперкомпьютерной отрасли:
• разработка и реализация аппаратных средств;
• разработка и реализация системного программного обеспечения;
• разработка и реализация инструментальных средств и законченных (пилотных) прикладных систем;
• вспомогательные мероприятия: подготовка и переподготовка кадров, создание и эксплуатация единого информационного пространства программы.
Работы по созданию аппаратных и программных средств для семейства суперкомпьютеров «СКИФ» ИПС РАН вел в тесном сотрудничестве с исполнителями от Республики Беларусь и с основными исполнителями программы со стороны России, среди которых были:
• ОАО «Научно-исследовательский центр электронно-вычислительной техники» (НИ-ЦЭВТ, Москва);
• Центр научных телекоммуникаций и информационных технологий (ЦНТК РАН, Москва);
• НИИ механики МГУ им. М.В. Ломоносова (Москва);
• Институт высокопроизводительных вычислений и информационных систем (ИВВиИС, Санкт-Петербург);
• Российский НИИ региональных проблем (РосНИИ РП, Переславль-Залесский);
• компания «Суперкомпьютерные системы» (СКС, Москва);
• НИИ космических систем (Королев).
Программа «СКИФ» была признана одной
из самых успешных программ Союзного государства. Результаты, достигнутые в ходе ее выполнения, получили и высокую правительственную оценку. За работу «Разработка конструкторской и программной документации, подготовка промышленного производства и выпуск образцов высокопроизводительных вычислительных систем (суперкомпьютеров) семейства «СКИФ» Ряда I и Ряда II» группе исполнителей программы «СКИФ» была присуждена премия Правительства Российской Федерации в области науки и техники за 2006 год.
1.2. Суперкомпьютерная программа «СКИФ-ГРИД». Суперкомпьютерная программа «СКИФ-ГРИД» Союзного государства рассчитана на выполнение в 2007-2010 годах. Полное наименование программы: «Разработка и использование программно-аппаратных средств ГРИД-технологий и перспективных высокопроизводительных (суперкомпьютерных) вычислительных систем семейства «СКИФ».
Как и в программе «СКИФ», головными исполнителями программы «СКИФ-ГРИД» являются: со стороны Беларуси — Объединенный институт проблем информатики Национальной академии наук Беларуси, со стороны России — Институт программных систем Российской академии наук.
Заказчики-координаторы программы «СКИФ-ГРИД»: со стороны Беларуси - Национальная академия наук Беларуси, со стороны России -Федеральное агентство на науке и инновациям.
Программа «СКИФ-ГРИД» включает четыре направления работ:
• ГРИД-технологии: развитие, исследование и внедрение средств высокопроизводительных вычислений на основе ГРИД-технологий; поддержка гетерогенных, территориально-распределенных вычислительных комплексов.
• Суперкомпьютеры семейства «СКИФ»
(ряд 3 и 4): создание суперкомпьютеров
«СКИФ» нового поколения на базе новых перспективных процессоров и вычислительных узлов, новых технических средств системной сети, управления системой, спецвычислителей и гибридных узлов, разработка соответствующего программного обеспечения.
• Защита информации: реализация (аппаратных и программных) средств защиты информации в создаваемых вычислительных комплексах.
• Пилотные системы: реализация прикладных систем в перспективных областях применения создаваемых вычислительных установок, решение актуальных задач на суперкомпьютерах и ГРИД-системах, усилия по подготовке и переподготовке кадров в области суперкомпью-терных и ГРИД-технологий.
Программа «СКИФ-ГРИД» примерно в два-три раза крупнее программы «СКИФ» по масштабам: по количеству привлеченных предприятий, по объемам запланированных работ и объемам ресурсов, привлекаемым для их выполнения. Так, в исполнение программы «СКИФ» было вовлечено примерно по десять предприятий со стороны Беларуси и России. В программе «СКИФ-ГРИД» только со стороны Российской Федерации сегодня участвуют уже более 20 организаций. В их числе ГЦ РАН, ИКИ РАН, ИПМ им. М.В. Келдыша РАН, ИППИ РАН, ИПХФ РАН, ИХФ РАН, НИВЦ МГУ, НИИ КС, НИИФХБ МГУ, НИИЯФ МГУ, ННГУ, НПЦ «Элвис», ОИЯИ, ООО «Т-Платформы», ООО «ЮникАйСиз», ПензГУ, СПбАЭП, СПбГПУ, ТГУ, химический факультет МГУ, ЧелГУ, ЮУрГУ.
1.3. Создание программного обеспечения суперЭВМ семейства «СКИФ». Как правило, когда говорят о результатах программ «СКИФ» и «СКИФ-ГРИД», внимание уделяется аппаратным средствам, мощностям разработанных суперЭВМ, а также фактам вхождения в список пятисот самых мощных суперЭВМ мира2 (Тор500). Это действительно очень важно, но хотелось бы отметить, что большая часть усилий, большее время, большие трудозатраты и значительная часть финансов в обеих программах были потрачены на создание программного обеспечения (ПО). Так, чтобы оценить масштабность комплекта программного обеспечения суперкомпьютеров семейства «СКИФ», перечислим, что в него уже на момент завершения программы «СКИФ» (2004 год) входили:
• системное ПО: операционная система; базовые библиотеки поддержки параллельного счета; файловые системы; системы очередей, мониторинга и управления; стандартные системы программирования - С, С++, Fortran; и т. п.;
• средства разработки параллельных программ - программные системы, инструменталь-
ные средства и библиотеки: Grace, Open TS, MIRACLE и др.;
• два десятка параллельных прикладных систем для различных областей.
2. Роль суперкомпьютерных технологий в государствах с экономикой, основанной на знаниях
Прежде чем обсуждать конкретные супер-компьютерные технологии и суперЭВМ, разрабатываемые в программах «СКИФ» и «СКИФ-ГРИД», проанализируем в целом роль супер-компьютерных технологий.
Сегодня критические (прорывные) технологии в государствах, строящих экономику, основанную на знаниях, исследуются и разрабатываются на базе широкого использования высокопроизводительных вычислений [2, 3]. И другого пути нет. Без серьезной суперкомпьютер-ной инфраструктуры:
• невозможно создать современные изделия высокой (аэрокосмическая техника, суда, энергетические блоки электростанций различных типов) и даже средней сложности (автомобили, конкурентоспособная бытовая техника и т. п.);
• невозможно быстрее конкурентов разрабатывать новые лекарства и материалы с заданными свойствами;
• невозможно развивать перспективные технологии (биотехнологии, нанотехнологии, решения для энергетики будущего и т. п.).
Сегодня суперкомпьютерные технологии по праву считаются важнейшим фактором обеспечения конкурентоспособности экономики страны, а eдuнсmвeнным способом победить конкурентов объявляется возможность обогнать их в расчетах. Здесь характерны слова президента Совета по конкурентоспособности США: «Технологии, таланты и деньги доступны многим странам. Поэтому США стоят перед лицом непредсказуемых экономических конкурентов из-за рубежа. Страна, которая желает победить в конкуренции, должна победить в вычислениях».
Неважно, о конкуренции в каком секторе экономики идет речь: сказанное верно для добывающих и перерабатывающих секторов экономики, и особенно это верно при разработке новых технологий. Поэтому в развитых странах мира для перехода к экономике знаний создается новая инфраструктура государства — государственная система из мощных суперкомпью-терных центров, объединенных сверхбыстрыми каналами связи в ГРИД-систему. То есть по сути речь идет о национальной научно-исследовательской информационно-вычислитель-
ной сети. Для такой системы часто используют термин киберинфраструктура. В этих странах на создание национальной киберинфраструктуры выделяются большие финансы из государственных бюджетов: в 2005-2008 гг. США тратили на эти цели от 2 до 4 млрд. долларов в год.
Тем самым, краткое определение сегодняшней роли суперкомпьютерных технологий может быть таким: это ключевая критическая технология, единственный инструмент, дающий возможность победить в конкурентной борьбе.
В каждый момент времени, если посмотреть уровень развития суперкомпьютерной отрасли (например, список Тор500), то можно выделить два слоя (рис. 1):
• Технологии уровня N. Инновационные, совершенно новые суперкомпьютеры, которые сильно вырываются вперед. Они сделаны по технологиям будущего, которые еще не вполне освоены, а только-только разрабатываются в мире. Такие машины соответствуют первым 1020 местам списка Тор500. Эти суперЭВМ обладают мощностью, которая радикально отличает их от всех других машин. И на платформе таких суперЭВМ можно выполнить вычисления — разработать новые материалы, новые технологические решения, которые позволят обладающей ими стране быть вне конкуренции и существенно оторваться от других производителей материалов, лекарств, механизмов и тому подобного.
Рис. 1. Соответствие между уровнем (Ы или N-1) супер-компьютерных технологий суперЭВМ и уровнем конкурентоспособности разработок, создаваемых при помощи данной суперЭВМ
• Технологии уровня N-1. Технологии более низкого уровня, отработанные решения, воспроизводить их способны многие страны. Соответственно, расчеты, выполняемые на таких машинах, позволяют достигнуть нормальной (обычной, заурядной) конкурентоспособности. То есть позволяют создавать материалы, меха-
Тоблщо 1
Суперкомпьютеры семейства «СКИФ». Ряды 1-4
Ряд Годы и пиковая производительность (расчетный диапазон) Ядер в CPU/ разрядность Сетевые решения вспомогательной / системной сети Форм-фактор; CPU/U Примечание
1 2000-2003 0.020-0.5 TFlops 1 / 32 FastEthernet / SCI (2D-TOp), Myrinet 4U-1U; 0.5-2 CPU/U Отечественный SCI (2D-тор). Охлаждение: воздух
2 2003-2007 0.1-5 Tflops 1 / 32-64 GbEthernet / SCI (3D-TOp), Infiniband 1U, Hyper-Blade; 2 CPU/U ServNet V.! v.2 Ускорители: FPGA, ОВС. Охлаждение: воздух
3 2007-2008 5-150 Tflops 2-4 / 64 GbEthernet / Infiniband DDR 1U, blades (20 CPU в 5U); 2-4 CPU/U ServNet v.3. Охлаждение: воздух—вода—фреон
4 2009-2012 500-10 000 Tflops 4-8 / 64 Infiniband QDR / отечественная системная сеть (3D-TOp) Сверхком-пактные blades (64 CPU в 6U); 10.7 CPU/U Новые подходы к охлаждению. Ускорители: FPGA, МЦОС, GPU и др.
Рис. 2. Семейство суперЭВМ «СКИФ». Ряд 1, 2, 3 и 4
низмы, решения такие же, как и у многих других стран. В данном случае мы получаем рядовую конкурентоспособность: с разработками можно выходить на мировой рынок, на котором нам придется вести изнурительную конкурентную борьбу с десятком подобных разработок.
Надо честно отметить, что разработанные в предыдущие годы суперЭВМ рядов 1-3 относились к технологическому уровню N-1. А вот
суперЭВМ ряда 4 планируется разрабатывать на технологическом уровне N.
3. СуперЭВМ семейства «СКИФ» рядов 1, 2 и 3
Суперкомпьютеры семейства «СКИФ» [2, 4] выпускались отдельными группами, называемыми «рядами» (табл. 1, рис. 2). На сегодня:
• разработаны и выпущены опытные и серийные образцы суперЭВМ рядов 1, 2 и 3;
• проработаны технические решения, подготовлена эскизная конструкторская документация суперЭВМ ряда 4 семейства «СКИФ».
3.1. Ряд 1 суперЭВМ семейства «СКИФ». Конструкторская документация для суперЭВМ ряда 1 (семейства «СКИФ»), а также их опытные образцы разрабатывались и выпускались в 2000-2003 годах. Решения, которые были при этом выработаны, были способны обеспечивать мощность суперЭВМ 20-500 GFlops.
Для этих суперЭВМ были характерны следующие технические решения:
• использовались 32-разрядные одноядерные CPU;
• для системной сети использовался SCI (2Б-тор) и Myrinet;
• в качестве вспомогательной сети использовался FastEthernet;
• форм-фактор для вычислительных узлов в данных суперЭВМ — монтируемые в стойки корпуса — от 4U до 1U.
В эти же годы была разработана и освоена в производстве отечественная системная сеть — плата SCI (2Б-тор). Эта работа была выполнена исполнителем программы «СКИФ» ОАО НИ-ЦЭВТ.
3.2. Ряд 2 суперЭВМ семейства «СКИФ». Конструкторская документация и опытные образцы ряда 2 суперЭВМ семейства «СКИФ» разрабатывались и выпускались в 2003-2007 годах. Полученные здесь решения позволяли выпускать суперЭВМ мощностью 0.1-5 Tflops.
Для этих суперЭВМ были характерны следующие технические решения:
• использовались одноядерные CPU как 32-разрядные, так и 64-разрядные (для старших моделей ряда 2);
• в качестве системной сети использовались сети SCI (3Б-тор) и Infiniband;
• в качестве вспомогательной сети использовался GbEthernet;
• существенно повысилась плотность упаковки вычислительной мощности — использовались серверы с форм-фактором 1U и даже так называемые решения Hyper-Blade.
Отметим, что в эти же годы были разработаны системы управления и мониторинга суперкомпьютеров ServNet v.1 и ServNet v.2 (разработка ИПС РАН). Также начались работы по изучению и применению ускорителей, как построенных на FPGA, так и выполненных полностью на отечественной элементной базе (так
называемые однородные вычислительные системы, ОВС).
3.3. Ряд 3 суперЭВМ семейства «СКИФ». Конструкторская документация и опытные образцы ряда 3 [4] суперЭВМ семейства «СКИФ» разрабатывались в 2007-2008 гг. Полученные здесь технические решения позволяют строить суперкомпьютеры с производительностью 5150 Tflops.
Для этих суперЭВМ были характерны следующие технические решения:
• использовались 2-4-ядерные 64-разрядные CPU;
• в качестве системной сети использовалась сеть Infiniband DDR;
• в качестве вспомогательной сети использовался GbEthernet;
• в младших моделях использовались монтируемые в 19” монтажный шкаф серверы с форм-фактором 1U, в старших моделях - отечественные blade-решения, позволяющие в 5U упаковывать 10 вычислительных узлов.
Для данных суперЭВМ использовалась новая версия управляющей сети - ServNet v.3 (разработка ИПС РАН). Повысилась плотность упаковки процессоров до уровня 4 CPU на 1 U. Соответственно повысилась и плотность выделения тепловой энергии на единицу объема. И если до этого в суперЭВМ семейства «СКИФ» использовалось воздушное охлаждение, то в машинах ряда 3 - уже трехконтурное охлаждение «воздух - вода - фреон».
4. Что есть отечественного в суперЭВМ семейства «СКИФ»?
Когда обсуждаются суперкомпьютеры семейства «СКИФ», то всегда задается вопрос: «А что отечественного есть в этих суперЭВМ, ведь в них же используются импортные комплектующие?». Это правда, пока еще в странах-участниках Союзного договора не развито производство необходимых для суперЭВМ отечественных микропроцессоров и сопутствующих комплектующих. В результате приходится использовать импортную элементную базу. Впрочем, такая ситуация не является исключением.
Суперкомпьютеры (впрочем, как и компьютеры) — технически сложные устройства. Как правило, такого рода изделия создаются с широким использованием мирового разделения труда. Сложилась общая практика, когда в суперЭВМ, разрабатываемой одной компанией некоторой страны, широко используются компоненты, разработанные и производящиеся в самых различных компаниях в разных странах ми-
ра. В настоящее время ни одна страна мира (за исключением разве что США) не производит все без исключения компоненты компьютерной техники и суперкомпьютеров в частности.
В полном соответствии с данной тенденцией суперкомпьютеры семейства «СКИФ» основываются на использовании зарубежной компонентной базы, что позволяет обеспечить конкурентоспособность по такому важнейшему параметру, как производительность.
Суперкомпьютеры семейства «СКИФ» разрабатываются, собираются, налаживаются и тестируются нашими специалистами. При этом Беларусь и Россия являются собственниками конструкторской документации на узлы суперЭВМ семейства «СКИФ» и на изделия целиком. На часть разработок имеются патенты. Это еще одно документальное подтверждение оригинальности отечественных разработок.
Независимая экспертиза страны происхождения суперЭВМ выполняется и при включении суперЭВМ в рейтинг Тор500. Поданные заявителем сведения о стране происхождения и о производителе проверяются составителями списка и, если нужно, исправляются - такие случаи известны. Во всех случаях вхождения всех суперЭВМ семейства «СКИФ» данная проверка страны происхождения проходила успешно — составители списка оставляли без изменения сведения о российском происхождении суперЭВМ семейства «СКИФ»: «СКИФ К-500», «СКИФ К-1000», «СКИФ СуЬейа», «СКИФ МГУ» и «СКИФ Урал» (редакции рейтинга 11/2003, 11/2004-06/2006, 06/2007,
11/2007, 06/2008, 11/2008).
В целом, за всю историю Тор500 российское происхождение [2] признавалось только у этих пяти суперЭВМ семейства «СКИФ» и еще у «МВС-1000М» (НИИ «Квант», редакции рейтинга 06/2002-06/2004). Все остальные установленные в России системы, попавшие в Тор500, являются импортными - производства Hewlett-Packard, Sun Microsystems и 1ВМ.
Еще одно объективное доказательство отечественного происхождения суперЭВМ семейства «СКИФ» - превышение зарубежных аналогов по показателям. Если некоторая суперЭВМ обладает характеристиками, которые превышают достижения отрасли, то это является неоспоримым доказательством уникальности, оригинальности установки. СуперЭВМ семейства «СКИФ» часто показывали лучшие в отрасли результаты. Например:
• «СКИФ К-500», «СКИФ СуЬепа», «СКИФ МГУ», «СКИФ Урал» продемонстри-
ровали лучший показатель КПД на процессорах Intel. Да, в суперЭВМ семейства «СКИФ» используются импортные процессоры, но отечественным разработчикам удается их использовать лучше, чем кому бы то ни было!
• В ноябре 2004 г. «СКИФ К-1000» занял первое место в мире на тесте «столкновение 3 автомобилей» в рейтинге TopCrunch (www. topcrunch.org, поддержан DARPA).
• В феврале 2007 г. «СКИФ Cyberia» выдает показатели лучшие, чем у современных суперЭВМ (Cray, HP, IBM, SUN): лучший (на
8.. 13%) КПД, лучшую (в 1.5-2 раза) масштабируемость на прикладном инженерном пакете STAR-CD.
Часто разработанные нами решения превышают зарубежные аналоги и по техническим возможностям:
• blade-решение для суперЭВМ «СКИФ МГУ» и «СКИФ Урал» имело (на момент выпуска): плотность упаковки вычислительной мощности процессоров Intel - на 20% лучше всех аналогичных изделий в мире; стандартный разъем PCI Express; «№1»-резервирование и «горячую замену» как блоков питания, так и вентиляторов. Такое сочетание важных эксплуатационных свойств встречается только в данной blade-системе;
• система управления «СКИФ» ServNet версии 1, 2, 3 (разработана в ИПС РАН) поддерживает ряд уникальных возможностей. Например, функцию «черного ящика» - сохранение последних записей о событиях в отказавшем блоке.
СуперЭВМ семейства «СКИФ» являются отечественными системами, разработанными на базе импортных комплектующих, с постепенно нарастающей долей импортозамещения.
В суперкомпьютерах «СКИФ» ряда 1 отечественными были:
• схемотехнические решения;
• конструкторская документация (КД) корпусов и стоек (стойки и корпуса выпускались в Минске);
• программное обеспечение (ПО) кластерного уровня семейства «СКИФ» (ПО КУ «СКИФ»).
При этом набор отечественного базового программного обеспечения (ПО КУ «СКИФ») создавался и на основе оригинальных разработок, и на основе доработок и адаптации программного обеспечения с открытыми исходными текстами.
СуперЭВМ «СКИФ» ряда 2 также разработаны по оригинальному проекту. И здесь отечественными являлись:
• схемотехнические решения;
• конструкторская документация корпусов и стоек;
• разработка и программное обеспечение -ПО КУ «СКИФ».
Кроме того:
• отдельные компоненты узлов были доработаны по документации российских разработчиков, например материнские платы для «СКИФ К-500» и «СКИФ К-1000»;
• суперЭВМ «СКИФ» ряда 2 оснащались сетью управления и мониторинга отечественной разработки - ServNet версии 1 и 2, разработка ИПС РАН;
• в суперкомпьютере «СКИФ ЕС1710.03» использовался интерконнект отечественного производства (НИЦЭВТ, интерконнект SQ 2D-тор).
Суперкомпьютеры «СКИФ» ряда 3 «СКИФ МГУ» и «СКИФ Урал» созданы на основе blade-серверов отечественной разработки, имеющих уникальные показатели. Таким образом, здесь отечественными были:
• схемотехнические решения;
• конструкторская документация на сами ЬМе-серверы и шасси;
• программное обеспечение - ПО КУ «СКИФ»;
• конструкторская и программная документация на сервисную сеть ServNet версии 3 (платы ServNet Т-60 и ServNet СМВ).
Тем самым, суперЭВМ рядов 1-3 по праву называют отечественными. Правда, надо заметить, что в них использовались целые блоки, на которые отсутствовала и отечественная конструкторская документация, и интеллектуальная собственность (включая право на изготовление в России и право на модификацию). И к таким блокам относились не только элементная база (не только микросхемы), но и, например, практически все печатные платы. За исключением ServNet (разработанного ИПС РАН) все печатные платы (материнские, соединительные и т. п.) суперЭВМ рядов 1-3 были импортными.
В рамках реализации суперЭВМ ряда 4 семейства «СКИФ» планируется серьезно изменить данное положение вещей - подробнее ниже, в разделе 5.8.
5. СуперЭВМ семейства «СКИФ» ряда 4
Конструкторская документация и опытные образцы ряда 4 суперЭВМ семейства «СКИФ» запланированы к разработке в 2008-2012 гг. Данные суперЭВМ будут иметь производительность 500-5 000 Tflops (0.5-5 Pflops) и выше.
В суперкомпьютерах ряда 4 семейства «СКИФ» предусмотрены самые современные
3
решения :
• В вычислительных узлах будут использованы стандартные (x86) многоядерные (4-8 ядер и выше) 64-битовые процессоры. В дополнение к ним в узле предусмотрена FPGA, ресурсы которой могут быть использованы как специализированный ускоритель.
• Будет использована еще более высокая плотность упаковки вычислительной мощности. Будут использованы оригинальные blade-системы, позволяющие упаковать 32 вычислительных узла в шасси 6U. Плотность упаковки будет более 10 CPU на 1U.
• Такая высокая плотность упаковки потребует новых подходов к охлаждению вычислительной установки. Будет применена система непосредственного водяного охлаждения вычислительных узлов.
• В качестве системной сети в суперЭВМ будет использована отечественная системная сеть pD-тор на базе FPGA), а в качестве вспомогательной сети - Infiniband QDR или 10GbEthernet.
В дальнейших разделах подробно обсуждаются различные характеристики суперЭВМ ряда 4 семейства «СКИФ».
5.1. Производительность, компактность, надежность. СуперЭВМ высокой производительности по необходимости содержит большое количество узлов. При росте числа вычислительных узлов критическими становятся такие параметры, как надежность и размер установки (с ростом физических размеров растет задержка при передаче данных в системной сети, что снижает характеристики суперЭВМ). К счастью, и повысить надежность, и уменьшить размер установки удается одним и тем же приемом: повышение плотности упаковки вычислительных узлов. По мере того как все большее количество вычислительных узлов упаковывается в рамки монтажного шасси, мы достигаем следующих эффектов:
• Уменьшаются физические размеры установки, длины соединительных линий между вычислительными узлами, задержки.
• Большое количество соединений выполняется в рамках монтажного шасси. Такие соединения выполнены либо в виде контактных дорожек на печатных платах, либо в виде соединений через разъемы соединительной печатной платы (backplane). Таким образом, происходит существенное снижение количества со-
единительных кабелей и кабельных разъемов в системе, за счет чего серьезно улучшается надежность.
В суперкомпьютерах ряда 4 семейства «СКИФ» в шасси с размером 4U входят соединительная панель (backplane), к которой подключены две группы печатных плат, каждая из которых включает:
• плату поддержки электропитания;
• 16 вычислительных узлов - 16 плат-лезвий, 16 blades;
• так называемую корневую плату, содержащую средства управления и мониторинга аппаратурой шасси и коммутатор Infiniband QDR.
Существенная часть соединений вычислительных узлов в системной сети и во вспомогательной сети (Infiniband QDR) выполнена в рамках шасси за счет соединительной панели (не при помощи кабельных соединений). Шасси 6U содержит 32 вычислительных узла с плотностью упаковки: 64CPU/6U >
10CPU/U.
5.2. Охлаждение: передовые решения. Такая высокая плотность упаковки требует новых подходов к охлаждению вычислительной установки. В суперЭВМ ряда 4 применена система непосредственного водяного охлаждения вычислительных узлов.
Решения подобного класса сегодня, несомненно, относятся к технологиям уровня N. Лидеры в области суперкомпьютерных технологий переходят от уже освоенных схем охлаждения «вода на уровне шкафа», «горячий коридор», «воздух - вода - фреон» к новым подходам к охлаждению вычислительной установки. Примером здесь могут послужить разработки SGI (система охлаждения Kelvin), водяное охлаждение процессоров у фирм IBM и Fujitsu и разработки компаний Cray и IBM по использованию
фазового перехода (испарения) как способа охлаждения микросхем.
Заметим, что, по сравнению со схемами охлаждения, где в качестве теплоносителя используется воздух, у водяного охлаждения имеется ряд серьезных преимуществ:
• данная схема требует меньше (как минимум, на 20%) энергозатрат;
• при остановке циркуляции теплоносителя за счет большей теплоемкости вода в течение некоторого времени сохраняет способность охлаждать микросхемы;
• система охлаждения в вычислителе не содержит ни одной механической подвижной части. Это повышает надежность установки и ее эргономические качества (бесшумность).
5.3. Модели ряда 4 и повторное использование разработок. СуперЭВМ ряда 4 запланированы к разработке и производству в течение 2008-2012 гг. За это время произойдет выпуск как минимум трех различных семейств микропроцессоров. Основываясь на прогнозах и планах ведущих компаний, мы предусматриваем выпуск четырех последовательностей моделей в рамках ряда 4: «СКИФ 4.№>, «СКИФ 4^», «СКИФ 4^», «СКИФ 4^» (таблица 2).
При этом предусмотрено широкое повторное использование конструкторской документации различных блоков и модулей. Так, для всех моделей одинаковыми будут являться все конструкции и соединительная инфраструктура шкафа и шасси, а также большинство печатных плат: соединительные, корневые и подсистемы электропитания. Изменяться будут (и то лишь частично) только печатные платы вычислительных узлов.
5.4. Не просто рекордные установки, а широкий ряд изделий. Каждая последова-
Таблица 2
Четыре последовательности моделей суперЭВМ ряда 4 семейства «СКИФ»
Последовательности моделей суперЭВМ, срок выпуска Шасси Шкаф Система минимальная Система средняя Система максимальная
Производительность, электропотребление (пиковые) Пиковая производительность, размер системы
«СКИФ 4.№> 3 кв. 2009 3 Tflops, 10.6 KW 24 Tflops 85 KW 48 Tflops, 2 шкафа 0.5 Pflops, 21 шкаф 0.77 Pflops 32 шкафа
«СКИФ 4.'№» 3 кв. 2010 4.5 Tflops, 10.6 KW 36 Tflops, 85 KW 72 Tflops, 2 шкафа 1.0 Pflops 28 шкафов 1.1 Pflops 32 шкафа
«СКИФ 4^» 1 кв. 2012 9 Tflops, 10.6 KW 72 Tflops, 85 KW 144 Tflops, 2 шкафа 2.0 Pflops 28 шкафов 2.3 Pflops 32 шкафа
«СКИФ 4.Б» 2 кв. 2012 15 Tflops, 16.2 KW 120 Tflops, 130 KW 240 Tflops, 2 шкафа 7.7 Pflops 64 шкафа 10 Pflops 84 шкафа
тельность моделей охватывает широкий спектр производительности от нескольких Tflops до 1000 (несколько тысяч) Tflops и предусматривает доступность для потребителя трех видов изделий:
• Персональная суперЭВМ. Вычислитель представляет собой одно шасси, которое можно расположить на рабочем месте сотрудника, тем более что это изделие бесшумное и имеет вполне приемлемое (для рабочего места) электропотребление. Пиковая производительность такого вычислителя может быть от 3 до 15 Tflops. Заметим, что вся коммутация вычислительных узлов системной и вспомогательной сети уже выполнена в рамках шасси. Шасси является первым уровнем законченного изделия и строительным блоком для более крупных систем (шкаф, система из нескольких шкафов).
• СуперЭВМ для лабораторий (конструкторских отделов и т. п.) представляет собой один шкаф, содержащий от двух до восьми шасси и всю необходимую соединительную инфраструктуру для них - соединения системной, вспомогательной и сервисной сетей, подсистем электропитания и охлаждения. Пиковая производительность такого вычислителя может быть от 6 до 120 Tflops. Шкаф является бесшумным законченным изделием, а также строительным блоком для систем из нескольких шкафов.
• Суперкомпьютерная система для крупных суперкомпьютерных центров представляет собой несколько (2-32 и более) шкафов, объединенных общей инфраструктурой — соединения системной, вспомогательной и сервисной сетей, подсистем электропитания и охлаждения. Пиковая производительность такого вычислителя может быть от 48 Tflops до 10 Pflops.
Таким образом, суперкомпьютеры ряда 4 семейства «СКИФ» охватывают большое разнообразие областей применения и широкий диапазон производительности.
5.5. Вычислительный узел моделей. В состав вычислительного узла суперЭВМ ряда 4 семейства «СКИФ» входит:
• два современных стандартных (х86) многоядерных (четыре ядра и больше) 64разрядных микропроцессора;
• память (ИАМ) объемом 12 Гбайт;
• микросхема адаптера (№С) ЫзшЬаМ QDR;
• твердотельный жесткий диск (SSD) для хранения образа операционной системы, вспомо-
гательных файлов, файлов контрольных точек и раздела для организации виртуальной памяти;
• микросхема FPGA, которая используется для организации системной сети, а оставшиеся свободными ресурсы FPGA могут быть использованы для ускорения некоторых вычислений.
Все компоненты вычислительного модуля размещаются на одной печатной плате. К этой печатной плате прижимается (вплотную ко всем микросхемам) так называемая охлаждаемая пластина, через которую организован поток охлаждающей жидкости.
5.6. Больше, чем просто системная сеть. Системная сеть в суперЭВМ ряда 4 организована с использованием FPGA. В качестве топологии для системной сети используется трехмерный тор с размерами 16*16*и. За счет прошивки FPGA и его подключения к различным компонентам системы реализуется:
• быстрый обмен между FPGA и системной шиной вычислительного модуля, например PCI Express;
• шесть двусторонних каналов, позволяющих объединять вычислительные узлы по топологии трехмерный тор;
• аппаратный маршрутизатор сообщений в системной сети топологии 3D torus;
• аппаратная поддержка некоторых операций библиотеки MPI, например all_reduce.
Связи в системной сети организуются следующим образом:
• все связи по первой координате организованы в рамках шасси — два кольца по 16 вычислительных узлов;
• все связи по второй координате организованы в рамках шасси и шкафа: 16 половинок шасси провязаны в многократное кольцо;
• все связи по третьему измерению организованы при помощи того, что все шкафы провязаны между собой в многократное кольцо.
Таким образом, разрабатывается масштабируемая в широких пределах системная сеть с явными чертами технологического уровня N.
Упомянем также, что в суперЭВМ ряда 4 семейства «СКИФ» будут использованы еще две независимые сети, аналоги которых встречаются только в топовых моделях суперкомпьютеров (уровня N):
• отдельная сеть для реализации операций барьерной синхронизации;
• отдельная подсистема синхронизации системных часов всех микропроцессоров в вычислителе.
Среди прочего это позволяет на уровне операционной системы реализовать поддержку контрольных точек.
5.7. Мониторинг и управление. Для обеспечения высокой надежности в суперЭВМ ряда 4 запланировано использовать расширенный состав сенсоров, располагаемых на различных печатных платах вычислителя, и три независимые сенсорные сети — сети мониторинга и управления. Опуская подробности, упомянем, что третья из этих сетей является новой версией сети ServNet. Она использует собственные подсистему электропитания и сетевую инфраструктуру для передачи данных.
5.8. Отечественная интеллектуальная собственность на все, кроме микросхем. В реализации суперЭВМ ряда 4 семейства «СКИФ» впервые отечественная интеллектуальная собственность будет распространяться на все конструкции, на все печатные платы - материнские, соединительные и т. п. В нашем распоряжении будет:
• полный комплект конструкторской документации;
• право и возможность разместить изготовление всех блоков и узлов на любых предприятиях, в том числе и отечественных;
• право и возможность вносить изменения в конструкторскую документацию, создавать новые модификации суперЭВМ ряда 4 семейства «СКИФ», в том числе на различной микропроцессорной базе (включая отечественную, если такая будет доступна).
Тем самым мы будем в максимальной готовности к восприятию отечественной элементной базы по мере ее появления.
Заключение
В настоящий момент завершена разработка эскизной конструкторской документации суперЭВМ ряда 4 семейства «СКИФ». Осуществлен выпуск опытных образцов вычислительных узлов (январь 2009), шасси (февраль 2009) и шкафов (май 2009). В мае 2009 г. начаты выпуск и поставка первым потребителям изделий последовательности «СКИФ 4.№>. Ввод в эксплуатацию первых суперЭВМ «СКИФ 4.№> ожидается осенью 2009 года.
В рамках программы «СКИФ-ГРИД» будет организована только разработка конструкторской документации и выпуск только опытных образцов вычислительных узлов, шасси,
шкафов суперЭВМ зяда 4. Изготовление масштабных установок в программе «СКИФ-ГРИД» не предусмотрено.
Мы надеемся, что разрабатываемые решения окажутся востребованными в России. Мы надеемся, что найдутся финансовые источники, проекты по развертыванию персональных, лабораторных и крупных суперЭВМ на базе решений ряда 4 семейства «СКИФ». Тогда новые суперкомпьютеры семейства «СКИФ» смогут стать основой для массового оснащения отечественной суперкомпьютерной техникой учреждений образования и науки, исследовательских и конструкторских бюро, предприятий промышленности и государственных структур.
Примечания
1. Единицы производительности суперЭВМ: 1 Gflops - миллиард операций с плавающей точкой в секунду, 1 TFlops = 1 000 GFlops - триллион операций с плавающей точкой в секунду, 1 Pflops = 1 000 TFlops - тысяча триллионов операций с плавающей точкой в секунду.
2. www.top500.org
3. По сути, речь идет о разработке технологий уровня N.
Список литературы
1. Абрамов С.М. Итоги суперкомпьютерной
программы «СКИФ» Союзного государства и перспективы ее развития // В книге «Пути ученого. Е.П. Велихов» / Под общ. ред. академика РАН В.П. Смирнова. М.: РНЦ «Курчатовский институт», 2007. С. 325-333.
2. Абрамов С.М., Заднепровский В.Ф., Москов-
ский А.А. Отечественные суперЭВМ и грид-системы. Проблемы развития национальной киберинфра-
структуры в России // Российские суперкомпьютеры: Наука. Технологии. Производство. Библиотека
ЦСПП, 2008. Вып. 2. С. 36-54.
3. Абрамов С.М., Заднепровский В.Ф., Московский А.А. Опыт использования суперЭВМ для эффективного развития «прорывных технологий» (на примере нанотехнологий) // XII научно-практическая конференция университета города Переславля «Программные системы: теория и приложения». Пере-славль-Залесский: Изд-во «Университет города Пе-реславля», 2008. Том 1. С. 37-50.
4. Абрамов С.М., Анищенко В.В., Заднепров-
ский В.Ф. и др. Развитие семейства отечественных суперкомпьютеров «СКИФ» в рамках программы Союзного государства «СКИФ-ГРИД» // Научный сервис в сети Интернет: решение больших задач. Труды Всероссийской научной конференции, 22-27 сентября 2008 г., Новороссийск. М.: Изд-во МГУ им. М.В. Ломоносова, 2008. С. 286-291.
SKIF SUPERCOMPUTER OF SERIES 4: SUMMIT ATTEMPT OF SUPERCOMPUTING TECHNOLOGY
S.M. Abramov, V.F. Zadneprovsky, A.B. Shmelev, A. A. Moskovsky
The project to create indigenous SKIF supercomputers of series 4 is described. In the framework of this project, the most modern supercomputing technologies are being developed: ultra-dense packaging of computing power, liquid cooling in printed circuit boards, new solutions in the system, supplementary and service networks. In the project SKIF of series 4, for the first time all the components, all the printed circuit boards, i.e. everything apart from microcircuitry will be Russian intellectual property. Planned achievable maximum peak performance for SKIF of series 4 is 0.5 Pflops by autumn 2009, 1 Pflops by autumn 2010 and more than 5 Pflops by spring 2012.
Keywords: supercomputers, «SKIF-GRID» supercomputing project.
