CC BY
448
2. ВЫЧИСЛИТЕЛЬНЫЕ КОМПЛЕКСЫ И ИНФОРМАЦИОННЫЕ ТЕХНОЛОГИИ
2.1. ТЕНДЕНЦИИ РАЗВИТИЯ СУПЕРКОМПЬЮТЕРОВ
Левин Владимир Константинович, действительный член РАН, доктор технических наук, профессор, научный руководитель ФГУП НИИ «Квант», лауреат Ленинской премии
Аннотация: В статье рассмотрены основные тренды развития суперкомпьютеров. Представлены ведущие научно-инженерные школы, описан накопленный опыт создания больших систем и информационно-вычислительных центров путем сочетания собственных разработок аппаратно-программных средств и использования решений и продукции ведущих зарубежных фирм. Отмечается активизация работы в области системного и прикладного программного обеспечения в ряде научных организаций и вузов.
Ключевые слова: суперкомпьютеры, вычислительные нанотехнологии, параллельные вычисления
2.1. SUPERCOMPUTER TRENDS
Levin Vladimir K., the academician of the Russian Academy of Sciences, the Doctor of Science in Engineering, professor, the scientific adviser of Federal State Unitary Enterprise Scientific Research Institute «Kvant»
Abstract: The article describes the main trends in the development of supercomputers. There are the leading scientific and engineering schools, is described the experience in creating largescale systems and computer centers through a combination of its own development of hardware and software and the use of solutions and products of leading foreign companies. It is marked intensification of work in the field of system and application software in research institutions and universities.
Index terms: supercomputers, computational nanotechnology, parallel computing
Термин «суперкомпьютер» получил распространение после 1975 года применительно к появившимся тогда вычислительным системам производительностью более 100 млн. арифметических операций с плавающей запятой в секунду (108 floating point operations per second - 100 Megaflops, Mf/s). Структура и быстродействие электронной части суперкомпьютера того времени в предпоследнем десятилетии прошлого века воплотились в микропроцессорном чипе. Специфика суперкомпьютеров как некоторого класса средств вычислительной техники определяется их предназначением для решения задач, где доминирует требование повышения производительности вычислений и обработки данных. Такого рода задачи широко представлены в науке, технике, экономике. Естественно, что стремление повышать производительность вычислительной системы так или иначе соотносится с условиями ее реализации и эксплуатации (стоимость, энергопотребление, габариты, а также оснащенность программными средствами и возможности использования в территориально-распределенных информационно-вычислительных сетях) [1-4].
Наиболее крупные программы развития работ по проблематике создания и применения суперкомпьютеров действуют и постоянно обновляются в США при очень большом финансировании. Ведутся также значи-
тельные разработки этого направления в Западной Европе, Японии, Китае, Индии, а также в нашей стране.
В последние 25 лет суперкомпьютеры стали строиться путем объединения серийных микропроцессоров в виде массово-параллельных многопроцессорных структур с распределенной памятью. На этом этапе производительность наиболее мощных установок возрастала 24-кратно за пятилетие (т.е. на 88% в год, 1000-кратно за 11 лет) и в 2008 году превысила 1015 f/s, т.е. 1 Petaflops. Наращивание производительности вычислительных систем определяется повышением физического быстродействия компонентов (микропроцессоров, памяти, средств связи и др.) в сочетании с развитием параллельной обработки данных как в общесистемной структуре, так и в структуре микропроцессоров. Повышение операционного быстродействия поддерживается увеличением объема памяти и интенсивности внешнего взаимодействия вычислительной системы (ввода-вывода данных). В конкретных применениях повышению производительности и технико-экономических показателей способствует проблемная ориентация (специализация) вычислительных систем.
На современном этапе 500 наиболее мощных вычислительных систем мира (указанных в так называемом списке top 500) охватывают более чем 100-кратный
диапазон производительности [5]. Верхний 10-кратный диапазон охватывают 10-20 установок, суммарная производительность всех установок списка, грубо говоря, 10-кратно превышает максимальную. Таким образом, суперкомпьютеры являются уникальной или малотиражной продукцией. При этом они строятся на базе микропроцессоров, элементов памяти и других компонентов крупносерийного промышленного выпуска, предназначенных, прежде всего, для компьютеров и средств автоматики массового применения. В этих компонентах сочетаются высокое быстродействие, относительная дешевизна, эксплуатационная надежность и устойчивость производства, что является существеннейшей предпосылкой современного суперкомпьютинга; применение малотиражных компонентов на сегодня признается неоправданным.
Прогресс по уровню производительности связан с продвижением по всем характеристикам вычислительных систем, но и с неизбежными трудностями в эксплуатации и применениях. Структурный параллелизм усложняется. Растет объем памяти, она становится все более многоуровневой. Интенсифицируется межмодульное взаимодействие, в вычислительной системе используется несколько типов коммутационно-связных средств различного функционального назначения. В разнообразных вариантах предлагается организация виртуальной общей памяти (разнородной по структурно-техническим уровням). Все это требует совершенствования системного и прикладного программного обеспечения. Рост производительности суперкомпьютеров сопровождается повышением (хотя и не столь быстрым) их энергопотребления, что осложняет теплоотвод, и здесь постоянно изыскиваются новые подходы. Развивается вся инфраструктура вычислительных центров.
Развитие суперкомпьютеров связано с рассмотрением ряда альтернатив в построении физико-технологической базы и в структурно-технических решениях с учетом организационно-экономических условий, производственных возможностей и потребностей применений. Такого рода альтернативы проявляются в продукции ведущих фирм-производителей суперкомпьютеров, представляемой в вышеупомянутом списке top 500. При выборе микроэлектронной базы акцент делается на либо на повышение быстродействия (тактовой частоты), либо на сокращение тепловыделения (путем какого-то «упрощения» схемотехники) при увеличении количества электронных компонентов (и соответствующего структурного усложнения вычислительной системы). В течение предыдущих 10 лет суммарная производительность суперкомпьютеров списка top 500 менее чем на У определялась повышением тактовой частоты процессорных ядер, а преобладающая часть определялась увеличением количества ядер, т.е. увеличением объема и сложности аппаратуры. Это связано с развитием параллелизма обработки данных в структурах микропроцессоров, памяти и компьютера, в
целом. При этом необходимо считаться с тем, что структурный параллелизм осложняет построение алгоритмов решения прикладных задач и программирование. При выборе вариантов параллельной обработки оцениваются альтернативы для различных уровней структуры вычислительной системы. Также выбираются варианты конструктивного оформления, систем энергоснабжения, теплоотвода и др. Соответственно, проявляются конкурирующие тенденции в продукции ведущих фирм, представленной в списках вычислительных систем, ранжированных по различным показателям эффективности [5-7].
Суперкомпьютеры последнего двадцатилетия структурно единообразны как многопроцессорные системы (называемые также массово-параллельными), построенные на базе микропроцессоров крупносерийного производства, объединяемых высокоскоростными сетями межпроцессорного обмена. Но с 1997 года среди них выделяют «кластеры», т.е. системы, построенные путем объединения коммерчески доступных серийных процессорных модулей и средств высокоскоростных локальных сетей для межпроцессорного обмена данными. Достоинствами кластеров являются относительная дешевизна, сжатые сроки поставки и эксплуатационного освоения, удобство масштабирования (по количеству процессоров). В последнее время в списке top 500 кластеры занимают более 80% мест и составляют более 60% суммарной производительности вычислительных установок списка. В реальных поставках вычислительных установок разграничение между кластерами и «некластерами» не вполне четкое.
В микропроцессорах вычислительных систем списка top 500 тактовая частота варьируется в диапазоне 13,8 ГГц, количество процессорных ядер (в чипе) - 416. Используются микропроцессоры различных типов и поколений трех крупных американских фирм-изготовителей США (Intel, IBM, AMD). Используются насколько типов межпроцессорных связей (в разновидностях). С 2006 года стали применяться сопроцессоры-ускорители; они представлены несколькими типами и в списке top 500 от июня 2014 года содержатся в 64-х установках, составляющих 35% суммарной производительности установок списка.
Энергопотребление наиболее мощных современных суперкомпьютеров стало превышать 10 МВт. Повышение энергопотребления, а также сложности теплоотво-да и увеличение занимаемой площади становятся все более серьезными факторами, затрудняющими наращивание производительности вычислительных систем; здесь постоянно изыскиваются новые подходы.
Если существующий темп наращивания производительности суперкомпьютеров сохранится, то в 2018-19 годах производительность наиболее мощной вычислительной системы выйдет на уровень 1018 f/s, т.е. 1 Exaf-lops. Однако трудно себе представить, что это может быть в достаточной мере обеспечено развитием суще-
ствующей микропроцессорной базы. Поэтому обращается внимание на создание проблемно-ориентированных и даже узкоспециализированных вычислительных структур и систем, совокупность которых смогла бы обеспечить потребности актуальных применений. Широко используется специализация в виде разного рода сопроцессоров и реконфигурируе-мых структур (интегральные схемы с перенастраиваемой логической структурой - ПЛИС-FPGA-field-programmable gate arrays). Появились системы SGI Altix, Cray XD1, -XT5h и некоторые другие, в которых ПЛИС используются как дополнительное средство к основной обработке. Структурная настройка, т.е. своего рода «программирование» ПЛИС - это более трудоемкое дело, чем программирование для общеупотребительных микропроцессоров, и здесь обращается внимание на развитие и освоение специфических методов и средств автоматизации. Наряду с применением ПЛИС, могут изготавливаться заказные интегральные схемы (ASIC - аррlication specific integrated circuits) и «системы на кристалле» (SoC - system on crystal), если требуется их массовое производство.
Активизируются работы по другим направлениям в построении физико-технологической базы и вычислительных структур, а также в методах применений, которые на сегодня не стали традиционными, но оцениваются как перспективные и, возможно, проблемно-ориентированные (оптоэлектроника, специфические проявления нанотехнологий, квантовые построения и др.). Обращается внимание на нетрадиционные парадигмы информатизации, новые подходы к обработке, хранению, передаче и отображению данных.
Разработки и применения суперкомпьютеров на базе микропроцессоров массового производства и создание соответствующей инфраструктуры в России развертывались с 1990 года и активизировались с 2000 года. К этому времени в ряде отечественных организаций появились практические результаты построения многопроцессорных вычислительных систем производительностью порядка 10 млрд. оп./с. и более на базе зарубежных микропроцессоров. В середине 2001 года в Межведомственном суперкомпьютерном центре РАН был введен в действие 768-процессорный кластер МВС-1000М производительностью 0,7 Tflops (по тесту Linpack), разработанный НИИ «Квант» и ИПМ им. М.В.Келдыша РАН. Система МВС-1000М по производительности соответствовала 27 месту списка top 500 того времени и в конце 2002года была указана на 74 месте списка [5].
Вызвала резонанс реализация с 2003 г суперкомпьютерной программы «СКИФ» Союзного государства Россия-Белоруссия, в рамках которой в 2004 году был введен в действие и передан в НАН Белоруссии кластер К-1000 производительностью 2 Tflops (разработка ИПС им. А. К. Айламазяна РАН и компании «Т-Платформы»). Затем в российских вычислительных центрах появились более мощные системы отечест-
венной разработки с применением новейшей микропроцессорной базы. В 2009 году в МГУ начала эксплуатироваться система «Ломоносов» производительностью 0,3 Pflops (разработка компании «Т-Платформы») и заняла 12-е место в списке top 500. Производительность этой системы наращивалась и с 2012 года составляет 0,9 Pflops; система указана на 22 месте в списке top 500 того времени и 42 место в списке от июня 2014 года [5, 8, 9].
В настоящее время вычислительные системы-кластеры в различных модификациях результативно используются в научных учреждениях, вузах и в промышленности различных регионов России, обеспечивая решение разнообразных задач высокой вычислительной сложности. Для некоторых применений оказывается целесообразным создание реконфигури-руемых комплексов на базе ПЛИС [10].
Сложность современных многопроцессорных вычислительных систем (неоднородность процессорных элементов, многоуровневый структурный параллелизм, иерархия памяти и др.) требует большого внимания к вопросам эффективного использования таких систем. Параллелизм обработки неизбежно усложняет построение и применение вычислительных систем, их системного и прикладного программного обеспечения. Для полноты загрузки параллельно работающих узлов аппаратуры требуется предварительная оценка продолжительности операций и программных процедур. Однако оценки машинного времени при программировании весьма затруднительны, здесь могут быть полезны специфические аппаратно-программные средства. Повышению эффективности использования суперкомпьютера способствует итерационная оптимизация программ с учетом структурно-технических особенностей системы.
Важным фактором в отечественной практике стало повсеместное использование удаленного множественного доступа пользователей к мощным вычислительным установкам (по сети Internet или корпоративным сетям) с обеспечением требований разграничения доступа и защиты информации. Наряду с дальнейшим наращиванием мощностей суперкомпьютерных центров, общемировой тенденцией становятся территориально-распределенные вычисления и обработка данных на основе повсеместно развиваемых грид-технологий (grid-) и «облачных вычислений» (cloud computing). Работы по этим направлениям широко представлены за рубежом в разнообразных вариантах и ведутся в ряде отечественных организаций; они сочетаются с развитием телекоммуникаций, созданием территориально-распределенных баз данных и соответствующего программного обеспечения.
В России сложились серьезные научно-инженерные школы и заделы при создании суперкомпьютеров и проведении исследований и разработок, основанных на вычислительных методах. Накоплен опыт создания больших систем и информационно-вычислительных
центров путем сочетания собственных разработок аппаратно-программных средств и использования решений и продукции ведущих зарубежных фирм. Активизировались работы в области системного и прикладного программного обеспечения в ряде научных организаций и вузов.
Можно считать, что суперкомпьютеры, действующие в России, по уровню производительности соответствуют западноевропейским. Однако количество и суммарная производительность эксплуатируемых в России вычислительных установок (уровня входящих в список top 500) значительно ниже того, что имеется в таких странах как Великобритания, Германия, Франция, Япония, не говоря уже о США. Это связано не только с трудностями приобретения и освоения суперкомпьютеров (как дорогой и сложной продукции со значительной долей импорта), но и с неразвитостью потребностей и методов применения такой техники, недооценкой возможностей суперкомпьютинга как фактора технологического прогресса. В списке российских суперкомпьютеров [8] весьма заметна доля вузовских установок, что свидетельствует о хороших предпосылках в деле подготовки необходимых специалистов и способствует взаимодействию вузов с научными учреждениями и производством. Требуют большего внимания выявление потребностей применений суперкомпьютеров, координация и обмен опытом работ, формирование и распространение пакетов прикладных программ как специфического товарного продукта.
Необходимо активизировать создание и внедрение средств и методов высокопроизводительных вычислений и обработки данных в отечественную практику научных исследований, инженерных разработок и в других сферах, стимулировать и распространять результативный опыт этой деятельности.
Список литературы:
1. Левин В.К. Этапы развития суперкомпьютеров. http://www.computer-museum.ru/histussr/super_phase_0.htm
2. Забродин А.В., Левин В.К. Суперкомпьютеры - состояние и развитие // «Автоматика и телемеханика». - 2007. - №5. -С. 4-7.
3. Лацис А.О. Параллельная обработка данных. - М.: Академия. 2010. - 336 с.
4. Генезис и альтернативы развития высокопроизводительной вычислительной техники // Электронный журнал Труды МАИ, 2011, выпуск 49, с. 1-8 http://www.mai.ru/ science/trudy/published.php?ID=28184&PAGEN_2=2
5. http://www.top500.org (списки 500 наиболее производительных суперкомпьютеров общего назначения, начиная с 1993 года).
6. http://www.green500.org (списки 500 наиболее энергоэффективных вычислительных установок, начиная с 2007 года).
7. http://www.graph500.org (списки 500 вычислительных установок, наиболее эффективных при обработке больших объемов данных, начиная с 2010 года).
8. http://supercomputers.ru (списки 50 наиболее производительных вычислительных установок России и стран СНГ, начиная с 2004 года).
9. Абрамов С.М. Исследования в области суперкомпьютерных технологий ИПС РАН: ретроспектива и перспективы // История науки и техники, - 2009. - № 5. - С. 41-65.
10. Каляев И.А., Левин И.И., Семерников Е.А., Шмойлов В.И. Реконфигурируемые мультиконвейерные вычислительные структуры. Ростов-на-Дону, изд. ЮНЦ РАН: 2008. - 320 с.
