ИНФРАСТРУКТУРА ГРИД ДЛЯ СУПЕРКОМПЬЮТЕРНЫХ ПРИЛОЖЕНИЙ Текст научной статьи по специальности «Компьютерные и информационные науки»

ИНФОРМАЦИОННЫЕ ТЕХНОЛОГИИ

УДК 004.4, 004.7

Инфраструктура грид для суперкомпьютерных приложений

Г.И.Савин, Б.М.Шабанов, П.Н.Телегин, О.И.Вдовикин, А.П.Овсянников,

И.А.Козырев

Межведомственный суперкомпьютерный центр Российской академии наук

В.В.Корнеев, Д.В.Семёнов, А.В.Киселёв, А.В.Кузнецов, НИИ «Квант» (г. Москва)

Описана структура сегмента грид (grid) Российской инфраструктуры для суперкомпьютерных приложений, реализованного в Российской академии наук на базе кластерных систем Межведомственного суперкомпьютерного центра. Рассмотрены состав, структура и основные моменты взаимодействия компонентов системы. Описано функционирование вычислительных систем в составе грид. Приведены основные принципы построения и функционирования программного обеспечения сетевой среды распределенных вычислений.

Ключевые слова: грид, суперкомпьютерные технологии, параллельное программирование, распределенные вычисления.

Грид-технологии представляют программные решения для построения грид-систем [1], характерной особенностью которых является предоставление ресурсов по запросам пользователей без указания их точного местоположения.

Российская инфраструктура для суперкомпьютерных приложений (РИСП) представляет собой грид-систему для организации высокопроизводительных распределенных вычислений в сетевой среде. Это обусловлено наличием необходимой вычислительной и коммуникационной инфраструктуры и устойчивой тенденцией роста числа пользователей, требующих для решения задач значительных объемов вычислений [2, 3].

В составе сегмента грид РИСП Межведомственного суперкомпьютерного центра РАН (МСЦ РАН) работают четыре кластерных системы. Три из них являются частями распределенной вычислительной системы (ВС) МВС-15000ВМБ, а четвертая - ВС МВС-100К. Две части ВС МВС-15000ВМ находятся в филиалах МСЦ РАН (в Санкт-Петербурге и Казани). Структура сегмента грид представлена на рис.1.

Каждая из ВС, входящих в состав сегмента грид, представляет кластер, состоящий из файлового сервера, управляющей машины (УМ) и решающего поля. Каждый кластер находится под управлением собственной системы пакетной обработки (СПО), системы управления прохождением задач (СУПЗ) и инструментальной ЭВМ - сервера доступа к вычислительным ресурсам.

© Г.И.Савин, Б.М.Шабанов, П.Н.Телегин, О.И.Вдовикин, А.П.Овсянников, И.А.Козырев, В.В.Корнеев, Д.В.Семёнов, А.В.Киселёв, А.В.Кузнецов, 2011

Рис.1. Структура сегмента грид РИСП

ВС имеют одинаковую архитектуру и набор аппаратного и программного обеспечения, поэтому использование грид на базе распределенного кластера МВС-15000ВМБ упрощается. Достигнутая полная совместимость на уровне исполняемых модулей, т.е. параллельная программа, собранная и отлаженная на одной из ВС, запускается и функционирует на другой ВС, входящей в МВС-15000ВМ0. МВС-100К отличается по составу программно-аппаратного обеспечения, поэтому для запуска пользовательских заданий требуется отдельная компиляция исполняемых модулей на инструментальной ЭВМ МВС-100К.

Для обеспечения безопасности в грид используется многоаспектный подход, включающий аутентификацию (проверку подлинности пользователя), авторизацию (определение прав), разграничение прав. Пользователь аутентифицирует себя один раз за сессию, создавая «прокси»-сертификат. Процессы, используя «прокси»-сертификат, получают ресурсы от имени пользователя без дополнительного вмешательства.

Каждый субъект в грид (пользователь, вычислительный ресурс, компонент системы управления (СУ)) имеет глобальный идентификатор и закрытый (private key) и открытый (public key) ключи. Соответствие между идентификатором и открытым ключом устанавливается сертификатом формата X.509, подписанным доверенным центром сертификации МСЦ РАН. Вычислительные системы, входящие в состав грид на базе вычислительных ресурсов МСЦ РАН, доверяют его Центру сертификации, установленному в МСЦ РАН.

Для успешной аутентификации проверяющая сторона должна удостовериться, что содержимое сертификата и сведения, предоставляемые его субъектом-владельцем, совпадают. После успешной аутентификации, осуществляется процесс авторизации путем отображения глобального идентификатора пользователя в локальную учетную запись ВС.

Отображение выполняется на основании схемы отображения, которая для каждого авторизованного пользователя содержит строку, определяющую локальную учетную запись, от имени которой будут запускаться процессы данного пользователя.

Таким образом, пользователям для запуска и управления своими задачами в грид необходимо зарегистрироваться дважды: создать глобальную учетную запись пользователя и локальные учетные записи на ВС из состава грид, на которых планируется осуществлять запуск его заданий [4].

Последовательность действий при регистрации нового пользователя в грид:

- на инструментальной ЭВМ любой ВС из состава грид формируется сертификат для пользователя;

- полученный сертификат подписывается центром сертификации МСЦ РАН, которому доверяют ВС, осуществляющие запуск пользовательских заданий;

- пользователь регистрируется как локальный на всех ВС, на которых планируется осуществлять запуск заданий;

- подписанные сертификаты распространяются по соответствующим ВС;

- администраторами ВС, на которых планируется осуществлять запуск пользовательских заданий, задается отображение глобального идентификатора пользователя в локальную учетную запись.

В вычислительных системах семейства МВС реализованы специальные решения по обеспечению безопасности, надежности и отказоустойчивости (рис.2). Управляющая компонента системы сосредоточена на отдельной УМ, к которой закрыт доступ для всех пользователей, кроме администраторов. На УМ выполняются серверные службы и серверная часть СУПЗ. Для доступа к системе из числа модулей вычислительного поля выделяется один модуль для выполнения специальных функций - инструментальная ЭВМ (сервер доступа), на которой устанавливаются различные клиентские приложения и клиентская часть СУПЗ. Зарегистрированные на ВС семейства МВС пользователи имеют доступ только к этой ЭВМ. Параллельные программы, собранные и отлаженные на инструментальной ЭВМ, будут запускаться и правильно функционировать на всех вычислительных модулях решающего поля.

X345.jscc.ru

Управляющая ЭВМ (Intel Xeon)

(Intel Xeon)

Ьс1 .jscc.ru

Сервер доступа (Ролуег РС)

blade l-blade550

Вычислительное поле ^-процессорные модули Роууег РС)

Файловая система

Пользователи

Рис.2. Структура кластерной ВС семейства МВС

Программное обеспечение (ПО) грид является надстройкой над стандартным программным обеспечением ВС.

На инструментальной ЭВМ каждого кластера, являющейся для пользователей точкой доступа к системе, устанавливается клиентское ПО: компоненты, обеспечивающие пользовательский интерфейс, ПО для запуска брокеров заданий и клиентская часть ПО Globus Toolkit. На УМ каждого кластера устанавливаются серверная часть ПО Globus Toolkit, система менеджеров и компоненты, обеспечивающие интерфейс с СПО СУПЗ. На рис.3 показана архитектура ПО, установленного на УМ ВС (x345) и на инструментальной ЭВМ (bc).

Рис.3. Архитектура кластерной ВС семейства МВС в составе грид

Взаимодействие между клиентской и серверной частью СУПЗ происходит по специальному протоколу.

Информационная система (ИС) грид, являющаяся компонентой СУ грид, предоставляет следующие возможности:

- контроль состояния ресурсов ВС, входящих в состав грид;

- контроль состояния сетевого оборудования;

- контроль состояния программных компонентов грид;

- сбор информации о состоянии заданий в грид;

- взаимодействие с различным программным обеспечением, установленным на кластерах, входящих в состав грид;

- взаимодействие с другими программными компонентами СУ грид;

- эффективное хранение собираемой информации;

- эффективный доступ компонентам распределенной вычислительной системы к требуемой информации в любом месте грид;

- высокая точность предоставляемой информации вне зависимости от того, насколько удален ресурс, о котором запрашивается информация;

- удобный интерфейс к данным (визуализация);

- формирование статистических отчетов.

ИС адаптирована для получения информации о специфических программных и аппаратных компонентах ВС семейства МВС, а также о заданиях, запущенных на вычислительных ресурсах ВС и находящихся в очередях СПО СУПЗ.

Для повышения актуальности данных, выдаваемых на запросы к ИС, и скорости обработки этих запросов поступающая информация сохраняется в базе данных (БД).

В состав инструментальных средств системы управления грид входят утилиты и WEB-интерфейс, позволяющие пользователю получать информацию о выполнении заданий. Администраторам сетевой среды распределенных вычислений (ССРВ) предоставляется полный доступ к собираемой информации. Утилиты администратора позволяют получать информацию о текущем состоянии (аппаратно-программных ресурсов грид и всех заданий в системе) всей системы целиком, отдельных ее компонентов, о группе компонентов и т.д. Кроме этого, администратору предоставляется возможность получать статистические отчеты по работе системы управления грид за различные временные периоды.

В результате проведенных работ решены следующие задачи:

- развернут сегмент РИСП на базе распределенных вычислительных ресурсов МСЦ РАН, представленных четырьмя кластерами, размещенными в разных городах и связанными сетью Internet;

- обеспечена доступность для пользовательских заданий всех территориально распределенных вычислительных ресурсов РИСП;

- удовлетворены требования к безопасности, надежности и отказоустойчивости, предъявляемые к организации вычислений в РИСП;

- сохранены привычная модель организации вычислений и привычный пользовательский интерфейс.

Литература

1. Foster I., Kesselman C., Tsudik G., Tuecke S. A security architecture for computational grids // Proc. 5-th ACM Conf. on computer and communications security conf. - 1998. - P. 83-92.

2. Управление метакомпьютерными системами / В.В.Корнеев, А.В.Киселёв, Д.В.Семёнов, И.Е.Сахаров // Открытые системы. - 2005. - № 2. - С. 11-16.

3. Создание распределенной инфраструктуры для суперкомпьютерных приложений / Г.И.Савин, В.В.Корнеев, Б.М.Шабанов и др. // Программные продукты и системы. - 2008. - № 2(82). - С. 2-7.

4. Руководство программиста. Грид. - URL: http://www.jscc.ru

Статья поступила 26 августа 2010 г.

Савин Геннадий Иванович - академик РАН, директор МСЦ РАН. Область научных интересов: информационные технологии, математическое моделирование, системный анализ, высокопроизводительные вычислительные системы, грид-технологии.

Шабанов Борис Михайлович - кандидат технических наук, заместитель директора МСЦ РАН. Область научных интересов: высокопроизводительные вычислительные системы, архитектура ЭВМ, использование суперкомпьютеров в научных расчетах, грид-технологии.

Телегин Павел Николаевич - кандидат технических наук, заведующий отделом МСЦ РАН. Область научных интересов: параллельное программирование, распределенные вычисления, инструментальные средства программирования, автоматическое распараллеливание программ, эффективность выполнения программ, архитектуры высокопроизводительных вычислительных систем. E-mail: telegin@jscc.ru

Вдовикин Олег Игоревич - заведующий лабораторией МСЦ РАН. Область научных интересов: параллельные вычисления, инструментальные средства параллельного программирования, параллельные и распределенные файловые системы.

Овсянников Алексей Павлович - заведующий отделом МСЦ РАН. Область научных интересов: телекоммуникации, вычислительные системы.

Козырев Илья Андреевич - младший научный сотрудник МСЦ РАН. Область научных интересов: параллельное программирование, кластерные системы.

Корнеев Виктор Владимирович - доктор технических наук, заместитель директора НИИ «Квант» (г. Москва). Область научных интересов: вычислительные системы, микропроцессорные системы.

Семёнов Дмитрий Викторович - старший научный сотрудник НИИ «Квант» (г. Москва). Область научных интересов: вычислительные системы, комплексы и сети.

Киселёв Андрей Валентинович - кандидат технических наук, доцент, начальник НИО НИИ «Квант» (г. Москва). Область научных интересов: микропроцессорные системы, параллельные вычисления, грид-технологии.

Кузнецов Алексей Владимирович - кандидат технических наук, старший научный сотрудник НИИ «Квант» (г. Москва). Область научных интересов: распределенные вычисления с использованием высокопроизводительных вычислительных систем, организация управления и обработки потока взаимосвязанных заданий в распределенных вычислительных системах с использованием аппарата сетей Петри.