Научная статья на тему 'Основные результаты деятельности ЦКП КарНЦ РАН «Центр высокопроизводительной обработки данных»'

Основные результаты деятельности ЦКП КарНЦ РАН «Центр высокопроизводительной обработки данных» Текст научной статьи по специальности «Автоматика. Вычислительная техника»

CC BY
39
18
Поделиться

Похожие темы научных работ по автоматике и вычислительной технике , автор научной работы — Вдовицын В. Т., Сорокин А. Д., Ивашко Е. Е., Румянцев А. С., Никитина Н. Н.,

Текст научной работы на тему «Основные результаты деятельности ЦКП КарНЦ РАН «Центр высокопроизводительной обработки данных»»

Труды Карельского научного центра РАН № 5. 2011. С. 125-131

ХРОНИКА

ОСНОВНЫЕ РЕЗУЛЬТАТЫ ДЕЯТЕЛЬНОСТИ ЦКП КАРЕЛЬСКОГО НАУЧНОГО ЦЕНТРА РАН «ЦЕНТР ВЫСОКОПРОИЗВОДИТЕЛЬНОЙ ОБРАБОТКИ ДАННЫХ»

В феврале 2009 г. в Карельском научном центре РАН компанией Т-Платформы были проведены работы по установке и вводу в эксплуатацию высокопроизводительной системы, состоящей из вычислительного кластера и системы хранения данных. В июне того же года был создан Центр коллективного пользования (ЦКП) КарНЦ РАН «Центр высокопроизводительной обработки данных». На основании постановления Президиума КарНЦ РАН от 30.06.2009 г. № 38 базовой организацией ЦКП установлено Учреждение Российской академии наук Институт прикладных математических исследований (ИПМИ) КарНЦ РАН.

Согласно Положению [Положение о ЦКП КарНЦ РАН, 2011], основными направлениями деятельности ЦКП являются:

• обеспечение доступа пользователей ЦКП к высокопроизводительному вычислительному оборудованию и системе хранения данных;

• техническая поддержка оборудования, системных и прикладных программных средств;

• осуществление методического обеспечения, техническая поддержка пользователей и руководство организацией работ в области высокопроизводительных вычислений;

• участие в обучении студентов и специалистов по вопросам применения и эффективного использования современных методов высокопроизводительных и параллельных вычислений для решения сложных задач математического и имитационного моделирования;

• разработка новых и совершенствование существующих методов высокопроизводительных и параллельных вычислений

для решения задач математического моделирования;

• текущее содержание и развитие материально-технической базы ЦКП путем дооснащения имеющихся комплексов современным техническим оборудованием и программными средствами для обеспечения и развития исследований в научных учреждениях КарНЦ РАН.

Высокопроизводительная вычислительная система КарНЦ РАН располагается в специальном помещении, оборудованном мощным источником бесперебойного питания APC Smart-UPS 15KVA/12kW 400V и системой кондиционирования воздуха, обеспечивающей необходимые климатические условия.

Аппаратное обеспечение. Вычислительный кластер — это группа компьютеров, объединенных высокоскоростными каналами связи и представляющая с точки зрения пользователя единый аппаратный ресурс. Кластер ЦКП состоит из одного управляющего и десяти вычислительных узлов, характеристики которых приведены в таблице. Узлы объединены управляющей сетью на базе Gigabit Ethernet и высокопроизводительной сетью передачи данных на базе интерфейса InfiniBand 4X DDR, обеспечивающего пропускную способность до 20 Гбит/с.

Пользователям ЦКП также доступна система хранения данных (СХД) ReadyStorage SAN 3994, состоящая из 16 жестких дисков емкостью по 146 Гбайт каждый, объединенных в RAID-массив 5 уровня. Доступ к СХД осуществляется через два высокоскоростных оптических интерфейса Fibre Channel.

Пиковая производительность кластера согласно проектной документации составляет 851 Гфлопс, производительность, показанная на тесте Linpack, — 637.2 Гфлопс.

Характеристики узлов кластера

Тип узла Управляющий Вычислительный

CPU 2xQuad-Core Intel Xeon 5430 2,66 ГГц 2xQuad-Core Intel Xeon 5430 2,66 ГГц

RAM 4 Гб FB-DIMM DDR2-667 REG ECC 4 Гб FB-DIMM DDR2-667 REG ECC

HDD 6x146 Гб SAS 15000 rpm 2x250 Гб SCSI

Программное обеспечение и доступ к ресурсам. Вычислительный кластер работает под управлением операционной системы SUSE Linux Enterprise Server 10, которая установлена как на управляющем, так и на вычислительных узлах. Для осуществления круглосуточного мониторинга доступности кластера и предотвращения нештатных ситуаций весной 2010 г. была установлена специализированная система мониторинга Nagios, которая в автоматическом режиме оповещает администратора кластера о возникающих неполадках. Сбор статистики по интенсивности использования аппаратных ресурсов (загрузка процессоров, использование оперативной памяти, пропускной способности сети и др.) осуществляется системой Ganglia. Для управления очередью задач на кластере установлена система SLURM.

Для пользователей ЦКП на кластере доступен набор инструментов разработки параллельных программ Intel Cluster Toolkit Compiler Edition, включающий в себя:

• производительные оптимизирующие компиляторы языков C, C++, Fortran;

• библиотеку математических функций Intel Math Kernel Library;

• средство отладки Intel Debugger;

• средство оптимизации Intel Trace Analyzer and Collector.

Для отладки также можно использовать систему Total View Debugger. Программистам доступны несколько версий библиотеки MPI: Intel MPI, MVAPICH2, MVAPICH, OpenMPI, MPICH; установлена библиотека для разработки программ с общей памятью Intel OpenMP.

Доступ к кластеру для пользователей ЦКП организован с использованием протокола ssh из локальной сети КарНЦ и глобальной сети Интернет. Для удобства пользователей создан и поддерживается сайт ЦКП [ЦКП КарНЦ РАН, 2011], на котором содержится информация о правилах доступа, имеются краткие руководства пользования кластером и другая полезная информация, публикуются новости Центра высокопроизводительной обработки данных. На сайте также поддерживается

раздел, позволяющий в реальном времени отслеживать занятость узлов кластера, размер очереди задач и примерное время до завершения выполнения задач.

Образовательная деятельность. Работа, направленная на подготовку специалистов по параллельным вычислениям, велась сотрудниками ИПМИ КарНЦ РАН в рамках спецкурсов «Методы и алгоритмы параллельных вычислений», «Введение в параллельные вычисления» (д. ф.-м. н., проф. А. В. Соколов), «Современные технологии высокопроизводительных вычислений» (к. ф.-м. н. Е. Е. Ивашко). Всего за 2009-2010 учебный год обучение прошли 55 человек.

В целях популяризации высокопроизводительных и параллельных вычислений, а также для повышения заинтересованности в использовании ресурсов вычислительного кластера, силами сотрудников ЦКП с привлечением пользователей ЦКП были организованы и проведены семинары: «Ресурсы вычислительного кластера ЦКП КарНЦ РАН» (к. ф.-м. н. Е. Е. Ивашко, А. С. Румянцев, ИПМИ КарНЦ РАН), «GRID-сегмент КарНЦ РАН и основы разработки программ для GRID-платформы BOINC» (Н. Н. Никитина, ИПМИ КарНЦ РАН), «Опыт использования пакета Firefly для моделирования расплавов» (О. В. Кременецкая, ПетрГУ), «Опыт разработки параллельных программ» (А. М. Караваев, ПетрГУ).

Все семинары проходили в «открытом» режиме, объявления о проводимых мероприятиях размещались на сайте ЦКП, на информационных досках институтов КарНЦ РАН и направлялись по электронной почте согласно списка рассылки пользователей ЦКП.

Исследования, проводимые с использованием высокопроизводительной системы КарНЦ РАН. В этом разделе представлены краткие описания некоторых задач, решаемых пользователями ЦКП с использованием высокопроизводительной системы КарНЦ РАН. Описания приводятся согласно отчетам пользователей Центра высокопроизводительной обработки данных.

• Численное моделирование крупномасштабной гидродинамики Белого моря

(к. ф.-м. н. И. А. Чернов, ИПМИ КарНЦ РАН)

В основу исследования положена модель крупномасштабной циркуляции Арктики, разработанная д. ф.-м. н. Н. Г. Яковлевым (ИВМ РАН, г. Москва) и адаптированная для Белого моря. Модель представляет собой систему дифференциальных уравнений в частных производных для полей скоростей течений, температуры и солености в области сложной формы, в ней учтены метеорологические данные, солнечная радиация, приливы, сток рек. Численное решение такой системы требует значительных вычислительных ресурсов.

В настоящее время модель воспроизводит качественное состояние вод и льда. Ведется разработка параллельной версии программной реализации модели.

• Свойства природных липидных мембран (д. ф.-м. н. А. Л. Рабинович, ИБ КарНЦ рАн, Д. В. Журкин, ПетрГУ)

Проект направлен на исследование структурной организации и физических свойств природных мембран методами имитационного компьютерного моделирования. Основными задачами проекта являются:

1. исследование компонентов природных мембран — липидных бислоев методом молекулярной динамики;

2. исследование отдельных молекул липидных бислоев различными методиками метода Монте-Карло.

При исследовании отдельных молекул липидных бислоев основной задачей является установление взаимосвязей и закономерностей между химической структурой и физическими свойствами молекул в разных условиях, а также их функциями в мембране.

С использованием кластера были исследованы температурные зависимости некоторых свойств основных молекул липидных бислоев методом Монте-Карло в рамках простой и существенной выборок. Исследовались средние размеры молекул (средний квадрат расстояния между концевыми атомами цепи, средний квадрат радиуса инерции и т. п.), термодинамические свойства молекул (средние значения отдельных компонентов энергии конформации, теплоемкость и т. п.).

Работа поддержана РФФИ, грант № 10-03-00201а, а также грантом Президента РФ для ведущих научных школ НШ-3731.2010.4 и Visby programme 00961/2008.

Модели многосерверных систем обслуживания (д. ф.-м. н., проф. Е. В. Морозов, А. С. Румянцев, ИПМИ КарНЦ РАН)

На основе классической модели Кифера-Вольфовица для вектора загруженности системы построена упрощенная модель вычислительного кластера. Исследуются моментные и корреляционные свойства векторов состояния системы, в т. ч. времени ожидания заявок в очереди, что в свою очередь позволяет характеризовать качество обслуживания в системе (QoS).

Работа поддержана РФФИ, грант № 10-07-00017а.

Прогнозирование состава устойчивых комплексных частиц в расплавах гало-генидов щелочных металлов на основе квантовохимических расчетов модельных систем (О. В. Кременецкая, ПетрГУ)

Объектом исследования являются расплавы фторидов и хлоридов щелочных металлов Na, K, Cs, содержащих небольшие добавки фторидных и хлоридных комплексов переходных металлов. Интерес к данным объектам обусловлен тем, что они являются средой, широко используемой для технологических процессов, таких как получение чистых и высокочистых металлов; получение защитных и каталитически активных покрытий; синтез соединений, которые невозможно получить из водных и неводных сред при низких температурах.

Знание состава комплексов в расплаве позволяет гораздо точнее моделировать химические реакции и перенос заряда в расплаве. А знание механизма и влияния на него разных факторов (состава, температуры, поверхности) даст возможность управления реакцией. Работы ведутся совместно с лабораторией высокотемпературной электрохимии Института химии Кольского НЦ РАН.

Расчеты проводятся квантовохимическими методами HF, MP2, DFT с помощью программы Firefly. Экспериментально установлено, что процесс переноса заряда в исследуемых объектах протекает по-разному в зависимости не только от

катионного, но и от анионного состава электролита расплава. Это обстоятельство делает необходимым при расчете различных характеристик включение в модельную систему не только второй, но и третьей координационной сферы комплексов переходных металлов.

Работа выполняется при финансовой поддержке РФФИ, грант № 08-03-

00397а).

Всего со ссылкой на вычислительный кластер КарНЦ РАН пользователями ЦКП было опубликовано 13 статей в научных журналах и трудах конференций.

Грид-сегмент КарНЦ РАН. Другим перспективным способом организации ресурсов для проведения высокопроизводительных вычислений является технология Грид. В августе 2010 г. на базе ЦКП КарНЦ РАН был создан Грид-сегмент для использования свободных вычислительных ресурсов кластера, серверов и настольных компьютеров сотрудников ИПМИ КарНЦ РАН. В качестве промежуточного программного обеспечения Грид используется широко распространенная платформа ВОШС [ВошС, 2011] с открытым исходным кодом. Платформа имеет архитектуру «клиент-сервер», при этом клиентская часть может работать на компьютерах с различным аппаратным и программным обеспечением. К маю 2011 г. в состав Грид были включены управляющий и вычислительные узлы кластера, четыре сервера и один персональный компьютер ИпМИ КарНЦ РАН (всего 16 вычислительных узлов). На текущий момент вычислительные ресурсы Грид доступны всем пользователям Центра высокопроизводительной обработки данных.

Для обеспечения доступа пользователей к ресурсам Грид-сегмента разработан и запущен в тестовую эксплуатацию веб-интерфейс для запуска вычислений в Грид-сегменте КарНЦ РАН. Помимо запуска вычислений, пользователи также имеют возможность получить через веб-интерфейс информацию о статусе выполнения рабочих заданий а также при необходимости добавить новые задания в Грид-проект.

На базе Грид нами разрабатывается «облачный» сервис организации и проведения математических вычислений. В основе «облачных» вычислений лежит подход, согласно которому пользователь по требованию получает удаленный доступ к вычислительным ресурсам в виде Интернет-сервиса, при этом структура организации ресурсов от него

скрыта. Специальный веб-интерфейс позволяет «прозрачно» для пользователя инициировать Грид-проект, выполняющий на одном из вычислительных узлов заданную пользователем последовательность команд на математическом языке высокого уровня. В настоящее время поддерживается язык математического пакета Octave. Результаты вычислений также предоставляются пользователю через вебинтерфейс.

В конце 2010 — начале 2011 гг. организована тестовая эксплуатация Грид-сегмента и выполнен ряд расчетов в интересах пользователей ЦКП, проводящих научные исследования:

• для проекта по математическому моделированию кинетики гидридного фазового перехода (к. ф.-м. н. И. А. Чернов, ИПМИ КарНЦ РАН) на Грид было выполнено более 250 тыс. рабочих заданий, в рамках которых независимо друг от друга осуществлялась проверка наборов параметров, обеспечивающих совпадение модельной кривой с экспериментальной в пределах заданной погрешности. Обработка результатов вычислений на стороне Грид-сервера включала в себя автоматический отбор результатов, удовлетворяющих критерию, заданному пользователем;

• для проекта по прогнозированию состава устойчивых комплексных частиц в расплавах галогенидов щелочных металлов на основе квантовохимических расчетов модельных систем (О. В. Кременец-кая, ПетрГУ) вычисления проводились с использованием программного пакета для квантовохимических расчетов Firefly. При помощи Грид был проведен ряд экспериментов по расчету энергий систем частиц с различными параметрами;

• проведены первые расчеты в рамках проекта по разработке эволюционной модели и алгоритмов для решения потоковой задачи Штейнера в приложении к распределительным электрическим сетям (В. Д. Кукин, ИПМИ КарНЦ РАН).

Заключение. Следуя целям своего создания и общемировым тенденциям, ЦКП КарНЦ РАН стремится к развитию и популяризации высокопроизводительных вычислений, предоставлению своим пользователям удобного доступа, достаточных вычислительных ресурсов и современного высокопроизводительного программного обеспечения.

©'

Таким образом, за период с момента создания ЦКП была проделана определенная научная, организационная и образовательная работа. Приобретение и освоение новых программных продуктов, отвечающих потребностям пользователей научных учреждений КарНЦ РАН, позволит повысить эффективность и расширить сферу применения кластера и системы хранения данных при проведении фундаментальных и прикладных научных исследований.

ЛИТЕРАТУРА

Положение о центре коллективного пользования КарНЦ РАН «Центр высокопроизводительной обработки данных» // иИЬ: http://cluster.krc.karelia.ru/doc/polozhenie.pdf (дата обращения 13.05.2011).

Правила доступа к кластеру и системе хранения данных ЦКП «Центр высокопроизводительных вычислений» КарНЦ РАН // иИЬ: http://cluster.krc.karelia.ru/doc/pravila.pdf (дата обращения 13.05.2011).

ЦКП КарНЦ РАН Центр высокопроизводительной обработки данных / / иИЬ: http://cluster.krc.karelia.ru/ (дата обращения

13.05.2011).

ВОШС: свободно распространяемое ПО

для проведения Грид-вычислений // иИЬ: http://boinc.berkeley.edu (дата обращения

13.05.2011).

В. Т. Вдовицын, А. Д. Сорокин, Е. Е. Ивашко, А. С. Румянцев, Н. Н. Никитина