CC BY
13
GRID-СЕГМЕНТ НА БАЗЕ СИБИРСКОГО СУПЕРКОМПЬЮТЕРНОГО ЦЕНТРА
А. С. Алексеев, С. В. Бредихин, Б. М. Глинский, С. В. Пискунов Институт вычислительной математики и математической геофизики СО РАН, Новосибирск, Россия e-mail: alekseev@sscc.ru, bred@nsc.ru, gbm@sscc.ru, piskunov@ssd.sscc.ru
This article describes the Grid project the main goal of which is building up a grid segment utilizing informational and computing resources of SSCC SB RAS. The article addresses history of this work and the vision of current tendencies on the utilization of shared information and computational resources. Main attention is concentrated on an architecture and a content of the segment. General information on the project is presented.
1. Исторические предпосылки
Информационно-вычислительные технологии интенсивно развиваются в современном мире, особенно в науке. Они были созданы в середине прошлого века и непрерывно стимулируются быстро растущими потребностями математического моделирования в фундаментальных и прикладных науках.
В Сибирском отделении АН СССР с момента его образования академики М.А. Лаврентьев [1] и Г.И. Марчук отдавали вычислительной технике и методам математического моделирования в различных науках высший приоритет. Они обеспечивали Сибирское отделение и Вычислительный центр (ВЦ) СО АН СССР (в настоящее время ИВМиМГ) передовой отечественной вычислительной техникой. Большую помощь отделению оказал председатель Государственной комиссии по вычислительной технике академик А.А. Дородницын.
В 1975 году в Новосибирском научном центре (ННЦ) была создана первая сеть дистанционного доступа институтов к крупным ЭВМ, расположенным в ВЦ. Это была сетевая система коллективного пользования тремя машинами БЭСМ-6 с объединенной памятью. В 1979 году разработан проект создания корпоративной сети, связывающей практически все институты ННЦ с базовыми вычислительными комплексами на БЭСМ-6 и тремя ЕС-1060 (Проект ВЦ коллективного пользования (ВЦКП)). Реализация этой сети с мощной кабельной канализацией между институтами сыграла важную роль в развитии Интернета в СО РАН и переходе на волоконно-оптические системы связи.
Интенсивную работу по созданию вычислительной базы СО РАН и развитию сетевых технологий в области математического моделирования в настоящее время прово© Институт вычислительных технологий Сибирского отделения Российской академии наук, 2005.
дят вычислительные центры в Красноярске и Иркутске. Совместно с ИВМиМГ СО РАН эти институты выполняют функции региональных центров коллективного пользования информационно-вычислительными ресурсами и развития информационно-вычислительных технологий в регионе.
Следующим шагом в развитии идеи вычислительного центра коллективного пользования было создание Сибирского суперкомпьютерного центра коллективного пользования (ССКЦ). В 2000 году Президиум СО РАН выделил финансирование на приобретение высокопроизводительной МВС-1000/50Н, штатная конфигурация которой предусматривает наличие 32 процессоров с внутренней конвейерно-векторной структурой. К концу 2003 года МВС-1000/50Н достигла проектной конфигурации. На тесте Ьтраек была получена производительность 33.18 ОйорБ (размер матрицы N = 43 200, КВ = 128).
Формально ССКЦ создан в 2001 году на основании Постановления Президиума СО РАН № 100 от 06.06.2001 г. "О создании Сибирского суперкомпьютерного центра коллективного пользования СО РАН" на базе ИВМиМГ СО РАН (см. www2.ssee.ru). В его состав входит временный научно-технический коллектив "Параллель", состоящий из специалистов ИВМиМГ и других институтов СО РАН. Научным руководителем ССКЦ является академик А.С. Алексеев.
Сибирский суперкомпьютерный центр используется для разработки параллельных алгоритмов и программ и проведения больших научных расчетов и вычислительных экспериментов сотрудниками СО РАН, а также магистрантами и аспирантами Новосибирского государственного университета (НГУ) и Новосибирского государственного технического университета (НГТУ), специализирующимися в области параллельных вычислений.
С 2001 года ССКЦ устойчиво работает в круглосуточном режиме (см. monitor.ssee.ru). Выработано более 100 тысяч часов процессорного времени. Услугами ССКЦ воспользовались 14 институтов СО РАН. Было решено более 20 больших задач, свыше 50 проходят стадию отладки. Среди решенных задач следует отметить моделирование трехмерного высокоскоростного обтекания аэрокосмических аппаратов, эволюции протопланетного облака, эволюции земной коры, распространения сейсмических волн, переноса частиц, фильтрации нефти в упругопористых средах и т. д.
На сегодняшний день основными задачами ССКЦ являются:
— обеспечение работ институтов СО РАН, НГУ и НГТУ по математическому моделированию в фундаментальных и прикладных исследованиях по механике, физике, химии, геологии, биологии и другим дисциплинам;
— организация обучения специалистов СО РАН и студентов НГУ и НГТУ методам параллельных вычислений на суперкомпьютерах;
— сетевое взаимодействие с другими суперкомпьютерными центрами СО РАН, Москвы и других городов России, а также зарубежных стран; совместная разработка технологий распределенных вычислений.
2. Направления развития
Анализ больших задач СО РАН и прогноз потребности вычислительных ресурсов показывают следующую закономерность: число процессоров и объемы оперативной памяти увеличиваются в 2-3 раза каждые два года. Например, задача моделирования предбиоло-гических исследований с учетом химических реакций между газами требует на сегодняшний день не менее 100 процессоров.
С учетом рекомендаций исполнителей больших задач бюро межинститутского совета по супервычислениям СО РАН в ССКЦ разработана программа развития информационно-вычислительных ресурсов: системы общей памяти и процессорной базы.
2.1. Система памяти
Опыт эксплуатации вычислительных мощностей ССКЦ при решении больших задач показывает необходимость увеличения объема дискового пространства, доступного для оперативного использования. В составе ССКЦ имеются 144 (16 х 9) Гбайт в виде локальной дисковой памяти узлов и 36 Гбайт на хост-узле системы МВС-1000/50Н, 117 Гбайт дисковой памяти системы RM-600, дискового массива 840 Гбайт, файлового сервера и 648 Гбайт дискового массива MA8000, что в сумме составляет 1785 Гбайт. Однако реально доступный в настоящее время пул дискового пространства составляет существенно меньший объем и ограничен как особенностями коммуникаций между различными частями общего дискового пространства, так и порядком его выделения пользователям ССКЦ. Для дальнейшего повышения эффективности работы ССКЦ потребуется пересмотр обоих факторов.
2.2. Процессорная база
Развитие этого направления предусматривает:
— монтаж и запуск многопроцессорной вычислительной системы МВС-1000М из Межведомственного суперкомпьютерного центра (г. Москва) в составе 128 процессоров DEC Alpha 21264 (64 двухпроцессорных вычислительных модуля), коммутаторов FastEthernet и Myrinet, операционной системы Linux RedHat 7.2;
— закупку, монтаж и запуск многопроцессорной вычислительной системы в составе 128 процессоров Intel Itanium-2, коммутаторов GigabitEthernet и Myrinet, операционной системы (ОС) Linux.
Одной из важнейших задач на текущий период является создание в рамках ССКЦ высокопроизводительной вычислительной системы на разнородных вычислительных кластерах, в частности кластеров на основе микропроцессоров DEC Alpha 21264 и Intel Itanium-2. Реализация этого направления потребует решения следующих задач:
— выбор архитектуры технических средств и программного обеспечения (коммуникационного оборудования, операционной системы, подсистемы управления операционными ресурсами, трансляторов и библиотек программ);
— комплектование библиотек прикладных программ, ориентированных на параллельные вычисления с использованием разнородных кластеров (AMBER, Gaussian, Fluent и других по запросам пользователей);
— отработка организации и проведения крупномасштабных вычислительных экспериментов на разнородных распределенных кластерах с использованием технологии Grid.
3. Архитектура и наполнение Grid-сегмента
Определение термина Grid дано в основополагающих статьях [2, 3]. В отечественной литературе наиболее четко оно сформулировано в [4]: Grid — согласованная, открытая и стандартизованная среда, обеспечивающая гибкое, безопасное, скоординированное разделение ресурсов в рамках виртуальной организации — динамически формирующейся со-
вокупности независимых пользователей, учреждений и ресурсов. Ниже приведен состав имеющихся и планируемых ресурсов Grid-сегмента. Уровень ресурсов
1. Процессоры:
— DEC Alpha 21264;
— Intel Itanium-2.
2. Вычислительные системы:
— МВС-1000/50Н (16 модулей);
— МВС-1000/M (64 модуля);
— комплекс из двух машин RM600-E30 (13 процессоров);
— кластер на Intel Itanium-2 (64 модуля — развитие).
3. Системы памяти:
— файловый сервер Athlon;
— дисковый массив MA8000.
4. Графические устройства:
— графическая рабочая станция Sun Blade2000.
5. Сетевая компонента:
— LAN масштаба новосибирского Академгородка (1 Гбит/c в настоящее время, 4 Гбит/с — развитие);
— сеть Интернет ННЦ (канал Новосибирск — Москва 2x 45 Мбит/с в настоящее время, OC3 — развитие; канал Академгородок — Новосибирск FE — в настоящее время, OC3 — развитие);
— сопряжение LAN с сетью GLORIAD (OC3 — развитие). Системное окружение
1. Операционные системы:
— Linux RedHat 7.2 на МВС-1000/50Н;
— Reliant Unix 5.44 на RM600-E30;
— Solaris 9 на Sun Blade2000.
2. Системы управления ресурсами СУБД:
— система управления прохождением задач разработки ИПМ РАН на МВС-1000/50^
— распределенная система обслуживания DQS 3.27 на RM600-E30;
— Oracle 8.0.5 и Postgress 6.5.2 на RM600-E30. Промежуточный уровень
— Globus Toolkit — протоколы и сервисы для развертывания Grid-систем;
— механизмы транспортировки данных, обеспечивающие режимы параллельной и выборочной передачи, а также средства контроля.
Инструментальный уровень
— компиляторы C, C++, Fortran 77/90;
— отладчики TotalView и Gepard на МВС-1000/50^
— библиотеки MPI на МВС-1000/50H и RM600-E30. Прикладной уровень
— библиотека AMBER (см. amber.scripps.edu);
— библиотека Gaussian (см. www.gaussian.com);
— библиотека Fluent (см. www.fluent.com — развитие).
4. О проекте
Цель проекта. Проект создания экспериментального Сп^сегмента направлен на освоение, разработку и внедрение технологии глобальных вычислений, объединение разнородных вычислительных систем с применением международных стандартов, совместное использование информационных и вычислительных ресурсов.
Проектом предусматриваются освоение существующих и создание новых технологий решения больших задач в научно-образовательной и промышленной сферах, развитие и эффективная эксплуатация технической базы ССКЦ и институтов СО РАН, предоставление как вычислительных ресурсов, так и информационных услуг с использованием Сп^ технологий.
Ожидаемый результат. На основе мирового опыта организации распределенных систем предполагается создать внешне однородную среду, обеспечивающую принципиально новые окружение и возможности для постановки и решения больших научных и междисциплинарных прикладных задач.
План работ. Первостепенными работами по созданию экспериментального Сп^сег-мента в ближайшей перспективе являются:
— апробация мировых разработок по специальному управляющему программному обеспечению для распределенных систем (инсталляция и тестирование);
— объединение имеющихся вычислительных кластеров и систем хранения данных ССКЦ в общий Сп^сегмент (мониторинг и распределение ресурсов);
— интеграция сегмента в российскую и международную Сп^системы с целью обеспе-
МВС-1000/50Н Кластер Intel
MBC-1000/M МА8000
GE
RM600-F30
JET
nsc.ru
GE GE
о
GE
ЬАЫ института
Коммутаторы Cisco Catalyst 3550
Sun Blade
Globus
SunGrid Engine
Система мониторинга
Сп^сегмент. Общая схема.
чения участия в работе виртуальных организаций по профильным проектам.
На первом этапе предполагается реализовать экспериментальный Grid-сегмент, общая схема которого приведена на рисунке.
Обустройство окружения. В ходе реализации проекта предстоит решить следующие задачи:
— создать благоприятную телекоммуникационную среду, обеспечивающую доступ к Grid-сегменту;
— обеспечить гарантированное качество обслуживания на внешних каналах связи;
— осуществить ОС3 подключение к глобальному кольцу сети GLORIAD.
Значимость проекта. Успешное проведение перечисленных работ и мероприятий,
приобретение навыков и умения использования Grid-технологий обеспечат ученым институтов СО РАН новые технические возможности фундаментальных и прикладных исследований, а также полноправное участие в масштабных российских и международных проектах.
5. Тенденции развития распределенных информационно-вычислительных ресурсов
В последние годы наблюдается стабилизация постановок "больших задач" типа: эволюция протопланетного вещества и планет; эволюция Земли (в количественной постановке); биоинформатика; модели климата и экологии и т. д. Поскольку для решения этих задач требуется интеграция знаний из разных областей, набирает силу процесс формирования своеобразных "клубов больших задач". Эти межинститутские коллективы создают модели, численные методы, параллельные программы, технологии вычислительного эксперимента, его анализа и теоретического обобщения.
Потребности вычислительных мощностей и программного обеспечения, определяемые такими коллективами, должны удовлетворяться в приоритетном порядке руководством центров супервычислений и финансирующих инстанций. При этом сами суперцентры коллективного пользования оказываются не только организациями-производителями профессиональных информационно-вычислительных услуг, но и базовыми ячейками, вокруг которых формируются межинститутские целевые коллективы.
Если говорить об ориентирах развития вычислительных ресурсов, необходимых для фундаментальных научных исследований в областях ядерной физики, нанотехнологии, молекулярной химии, проектирования аэрокосмических аппаратов, моделирования климата и окружающей среды, прогноза штормов, цунами, землетрясений и т. д., то существуют оценки ряда авторитетных международных экспертных групп. Эти оценки интегрально характеризуются следующими цифрами (три десятки): производительность 10 Pflops, системы хранения данных 10 Tb и пропускная способность каналов связи 10 GBps. Системы с такими параметрами смогут производить распределенные вычисления для решения указанных выше проблем.
Список литературы
[1] Алексеев А.С., Лаврентьев М.А. Информационно-вычислительные технологии // Наука в Сибири. 2000. № 44/45.
GUID-CEIMEHI НА БАЗЕ ССКЦ
13
[2] Foster I., Kesselman C., Tuecke S. The Anatomy of the Grid. http://www.globus.org/research/papers/anatomy.pdf
[3] Foster I., Kesselman C., Nick J., Tuecke S. The Physiology of the Grid. http://www.globus.org/research/papers/ogsa.pdf
[4] Коваленко В., Корягин Д. Эволюция и проблемы Grid // Открытые системы. 2003. № 1(81). С. 27-33.
Поступила в редакцию 18 марта 2005 г.
