CC BY
61
3000 2500 2000 1500 1000 500
* * <6*
Рис. 1. Блочное умножение матриц 4096x4096. Зависимость производительности (МФлопс) от размера блока. Занято одно ядро
2000 1500 1000 500
0
* * * ^ #
Рис. 2. Блочное умножение матриц 4096x4096. Зависимость производительности (МФлопс) одного ядра от размера блока. Заняты все ядра
изводительности превышают 3, что объясняется полным заполнением общей кэш-памяти двумя ядрами.
Отдельный вопрос - использование возможностей оптимизации компиляторов и стандартных библиотек. Целесообразность использования библиотек (mkl, goto) зависит от приложения. В част-
ности, для решения задач обращения матриц библиотека функций BLAS [5] хорошо оптимизирована, о чем свидетельствуют результаты тестов Linpack. Для данного примера проводились сравнения использования возможностей оптимизации компилятором непосредственно кода и использования библиотечных функций скалярного произведения векторов (DDOT) и умножения матриц (DGEMM). Использовались библиотеки mkl и goto. Результаты показывают, что в данном случае при правильном выборе размера блока код, оптимизированный компилятором, обеспечивает большую производительность, чем библиотечные функции. Поэтому при реализации программ желательно сравнивать возможности как компиляторов, так и библиотечных функций.
Опыт использования многоядерных процессоров показывает, что при большом числе виртуальных систем целесообразным становится уменьшение сложности задачи, для этого возможно распределение циклов гнезда по уровням неоднородной системы. В этом случае строится иерархический набор виртуальных систем, уровням которого назначаются циклы из гнезда.
Список литературы
1. Телегин П.Н., Шабанов Б.М. Связь моделей программирования и архитектуры параллельных вычислительных систем. // Программные продукты и системы. - 2007. - №2.
2. Douglas Eadline. Optimized HPC Performance: MPI Strategies for Next Generation Quad-Core Intel®Xeon® Processors. (http://basement-supercomputing.com/download/reports/har-pertown-WPl -rev3 .pdf)
3. Савин Г.И., Телегин П.Н., Шабанов Б.М. Кластеры Бео-вульф. // Изв. вузов. Электроника. - 2004. - № 1. - С. 7-12.
4. BLAS (Basic Linear Algebra Subprograms). http://www.netlib.org/blas/
ОСОБЕННОСТИ ПОСТРОЕНИЯ ОБЪЕДИНЕННОЙ СЕТИ СУПЕРКОМПЬЮТЕРНОГО ЦЕНТРА
Над данной статьей работал коллектив авторов, ведущих специалистов МСЦ РАН: Алады-шев О.С., Биктимиров М.Р., Жижченко М.А., Овсянников А.П., Опалев В.М., Шабанов Б.М., Шульга Н.Ю. (г. Москва).
МСЦ РАН является крупнейшим открытым суперкомпьютерным центром в нашей стране. Он имеет несколько технологических площадок в Москве, филиалы в других городах, является головной организацией проекта РИСП, участником проекта GEANT по развитию Европейской высокопроизводительной магистральной научно-исследовательской сетевой инфраструктуры. В работе центра накоплен опыт решения вопросов внешнего сетевого взаимодействия, которые стоят достаточно остро.
На двух технологических площадках в Москве функционируют высокопроизводительные вычис-
лительные кластеры, системы хранения данных и различные информационные ресурсы. Кроме того, имеются два филиала в Санкт-Петербурге и Казани, на которых размещены части распределенного вычислительного кластера МВС15000ВМБ. Для эффективной работы суперкомпьютерного центра требуется объединение всех технологических площадок и филиалов объединенной сетью, обеспечивающей высокоскоростную и надежную связь, гибкость управления и сетевой организации, высокий уровень сетевой безопасности.
Одним из важнейших требований к объединенной сети суперкомпьютерного центра является ее производительность, определяющая скорость обмена данными между информационными и вычислительными ресурсами.
Процедура прохождения задачи на суперкомпьютере включает постановку задачи в очередь,
запуск задачи из очереди на исполнение и освобождение вычислительной системы после счета. Данные, необходимые задаче для счета, должны быть доступны в локальной файловой системе суперкомпьютера к моменту запуска программы в очередь на счет.
Если вычислительный ресурс (суперкомпьютер) расположен на одной технологической площадке, а данные, необходимые для задачи, были подготовлены и загружены в хранилище данных на другой технологической площадке, то необходимо их копирование на технологическую площадку суперкомпьютера. Такая ситуация часто возникает если задача пускается на счет на разных компьютерах, в частности, при использовании ГРИД-систем.
Использование высокопроизводительных каналов связи между площадками обеспечивает быстрый доступ к сетевым файловым системам, даже если поддерживающие их серверы с данными расположены на удаленных площадках. Таким образом можно исключить необходимость копирования данных на локальную файловую систему суперкомпьютера, убрать дублирование данных и повысить эффективность использования хранилищ данных.
Основной канал связи между технологическими площадками МСЦ РАН в Москве организован по технологии 10 Gigabit Ethernet на базе од-номодовой волоконно-оптической линии связи (4 км). До последнего времени производительно -сти основного канала связи было достаточно для доступа суперкомпьютеров к хранилищам данных даже при условии их нахождения на разных технологических площадках. В настоящее время рассматриваются возможности наращивания производительности основного канала установкой оборудования волнового уплотнения DWDM или прокладкой дополнительных волоконно-оптических линий связи. Резервный канал использует VLAN опорной транспортной сети РАН. Поскольку магистральные каналы опорной транспортной сети РАН базируются на использовании технологии 10 Gigabit Ethernet, падение производительности сети при отказе основного канала заметно, но не приводит к фатальным последствиям.
Использование оптических каналов связи является наиболее предпочтительным для организации научных сетей, так как только они обеспечивают необходимые показатели производительности, гибкости и безопасности для научных приложений [1]. Если подразделения (филиалы) находятся в одном городе (или даже в пределах одного региона), то строительство или аренда оптической линии связи часто оказываются экономически оправданными, особенно с учетом перспектив роста, что подтверждается, например, опытом развития опорной транспортной сети РАН в Московском регионе. Сложнее обстоит дело, если необходимо
связать филиалы в разных регионах страны. Для этого возможно арендовать у магистральных операторов связи либо канал связи на физическом уровне (L1), либо построить виртуальную частную сеть на основе услуги IP VPN по технологии MPLS, предоставляемой магистральным оператором связи, либо организовать виртуальную частную сеть через Интернет, используя подключения к региональным операторам связи. И физические каналы связи, и виртуальная частная сеть обеспечат безопасность и прозрачность информационного обмена между подразделениями/филиалами, что значительно упростит доступ к общим информационно-вычислительным ресурсам.
Аренда физических каналов связи, безусловно, гарантирует максимальную эффективность и гибкость построения объединенной сети, однако является наиболее дорогостоящей в нашей стране. Построение сети на основе IP VPN/MPLS значительно дешевле, и при этом обеспечиваются приемлемые показатели производительности. Еще дешевле построить VPN через Интернет, однако добиться при этом необходимой научным приложениям производительности в большинстве случаев нереально.
Наиболее эффективным способом обеспечения отказоустойчивости сети, как известно, является использование кольцевых топологий. Выход из строя узла или канала в кольце не приводит к потере связности между остальными узлами. Как показывает опыт эксплуатации сети EsNET [1], при применении кольцевых топологий можно обойтись без резервирования активного сетевого оборудования в узлах. Этот подтверждается опытом строительства и эксплуатации опорной сети РАН и сети МСЦ РАН.
Топология локальной сети МСЦ РАН включает два кольца: большое кольцо захватывает обе технологические площадки, его узлами являются коммутаторы серии Cisco Catalyst 6500, которые одновременно являются центральными коммутаторами сетей суперкомпьютеров MBC100K, MBC6000IM и части распределенного суперкомпьютера MBC15000BMD, а также коммутатор группы информационных ресурсов. Малое кольцо включает только коммутаторы главной технологической площадки, причем его каналы не совпадают с каналами большого кольца. В настоящее время кольцевая топология еще не реализована в полной мере для территориально-распределенной сети, включающей филиалы в Санкт-Петербурге и Казани. Для Казанского филиала предусмотрена организация кольца на основе основного канала IP MPLS и туннеля по протоколу SSH через Интернет в качестве резервного канала.
В [2] показано, что одним из важных аспектов интеграции кластерных вычислительных систем в локальную сеть суперкомпьютерного центра является объединение их транспортных сетей, поэтому
возможность проброса структуры VLAN через канал связи между технологическими площадками является существенной для обеспечения эффективной работы суперкомпьютерного центра. Так как для резервного канала связи между площадками используется единственный VLAN, проброс VLAN-центра между технологическими площадками осуществляется с использованием туннели-рования IEEE 802.1QinQ. При передаче из транка в туннель 802.1Q кадры, помеченные идентификаторами VLAN, не разбираются, а передаются как целое. Если кадры в дальнейшем попадают в транковый порт, они дополнительно помечаются в соответствии с протоколом 802.1Q полем VLAN, назначенным туннельному порту в системе коммутаторов провайдера.
Возможность организации согласованной системы виртуальных локальных сетей весьма важна и для каналов связи с территориально-удаленными подразделениями и филиалами, но реализовать ее в этом случае труднее и дороже. Для этого необходимо либо использование физического канала связи, либо виртуальной частной сети (VPN), основанной на туннелях с инкапсуляцией канального уровня в канальный (например, упомянутое выше туннелирование IEEE 802.1QinQ), либо на использовании технологии Ethernet over IP MPLS.
В настоящее время технология Ethernet over IP MPLS реализована (или реализуется) рядом производителей сетевого оборудования, например, Alcatel, Cisco Systems, Juniper Networks, Nortel Networks и др. Cisco Systems, например, разработала архитектуру, называемую Any Transport over MPLS (AtoM) [3], в которой на оконечных маршрутизаторах провайдера, обеспечивающего сеть MPLS, пользовательские пакеты канального уровня (L2) инкапсулируются, пересылаются через опорную сеть, разбираются на оконечных маршрутизаторах другого конца MPLS-цепи и пересылаются в пользовательскую сеть L2. Таким образом, использование MPLS-провайдера предоставляет пользователю связность канального уровня (L2). Описанная архитектура основана на разрабатываемом стандарте IETF draft, Architecture for Layer 2 VPNs. В настоящее время поддерживаются следующие механизмы:
• Ethernet поверх MPLS,
• ATM AAL5 поверх MPLS,
• Frame Relay поверх MPLS,
• ATM Cell Relay поверх MPLS,
• PPP поверх MPLS,
• HDLC поверх MPLS,
• эмуляция соединений (Circuit Emulation) поверх MPLS.
Ethernet поверх MPLS позволяет транспорти-
ровать трафик Ethernet (многоадресный и широковещательный) из исходной VLAN 802.1Q в VLAN 802.1Q назначения через магистральную сеть MPLS, отображая VLAN в путь с коммутацией меток (MPLS LSP). Ethernet поверх MPLS использует протокол пересылки меток (LDP) для динамической установки и очистки пути LSP через магистраль MPLS при динамическом выделении сервиса.
Таким образом, для построения согласованной системы VLAN в территориально-распределенных подразделениях/филиалах возможно использовать Ethernet поверх MPLS в сочетании с туннелирова-нием IEEE 802.1QinQ.
Виртуальная частная сеть между филиалами суперкомпьютерного центра необходима и в случае, когда ее удается организовать только на сетевом (L3), а не на канальном уровне (L2), поскольку это единственный способ обеспечить безопасность и прозрачность информационного обмена, а значит, и эффективный доступ к общим информационно-вычислительным ресурсам. При организации виртуальной частной сети на сетевом уровне можно также использовать технологию MPLS в случае поддержки ее провайдером магистральных каналов или использовать криптографическую защиту соединений через Интернет (IPSec, Open-VPN и др.) Использование технологии IP MPLS представляется более предпочтительным, поскольку она позволяет обеспечить более высокую скорость передачи данных и качество сервиса при приемлемом для открытых приложений уровне сетевой безопасности. Так как IP MPLS позволяет осуществлять вложение меток, внутри корпоративной сети, объединяющей филиалы, возможно установить несколько корпоративных частных сетей. Это позволяет объединять и разделять группы сетей и информационно-вычислительных ресурсов между подразделениями и филиалами, хотя и более сложным способом, чем при использовании Ethernet поверх MPLS.
Таким образом, опыт построения объединенной сети МСЦ показывает, что в региональном масштабе наиболее эффективным подходом представляется построение сети на базе выделенной оптической инфраструктуры, а для связи между региональными филиалами использование IP VPN на основе MPLS.
Список литературы
1. Сеть для науки ESNet. (http://book.itep.ru/4/7/esnet.htm)
2. Овсянников А.П. Сети высокопроизводительных кластерных вычислительных систем и их интеграция в локальную сеть суперкомпьютерного центра. // Программные продукты и системы. - №2. - 2007. - С.17-19.
3. Any Transport over Multiprotocol Label Switching (AtoM). (http://www.cisco.com/en/US/products/ps6646/products_ ios_protocol_option_home.html)
