CC BY
32
Труды Карельского научного центра РАН № 5. 2011. С. 125-131
ХРОНИКА
ОСНОВНЫЕ РЕЗУЛЬТАТЫ ДЕЯТЕЛЬНОСТИ ЦКП КАРЕЛЬСКОГО НАУЧНОГО ЦЕНТРА РАН «ЦЕНТР ВЫСОКОПРОИЗВОДИТЕЛЬНОЙ ОБРАБОТКИ ДАННЫХ»
В феврале 2009 г. в Карельском научном центре РАН компанией Т-Платформы были проведены работы по установке и вводу в эксплуатацию высокопроизводительной системы, состоящей из вычислительного кластера и системы хранения данных. В июне того же года был создан Центр коллективного пользования (ЦКП) КарНЦ РАН «Центр высокопроизводительной обработки данных». На основании постановления Президиума КарНЦ РАН от 30.06.2009 г. № 38 базовой организацией ЦКП установлено Учреждение Российской академии наук Институт прикладных математических исследований (ИПМИ) КарНЦ РАН.
Согласно Положению [Положение о ЦКП КарНЦ РАН, 2011], основными направлениями деятельности ЦКП являются:
• обеспечение доступа пользователей ЦКП к высокопроизводительному вычислительному оборудованию и системе хранения данных;
• техническая поддержка оборудования, системных и прикладных программных средств;
• осуществление методического обеспечения, техническая поддержка пользователей и руководство организацией работ в области высокопроизводительных вычислений;
• участие в обучении студентов и специалистов по вопросам применения и эффективного использования современных методов высокопроизводительных и параллельных вычислений для решения сложных задач математического и имитационного моделирования;
• разработка новых и совершенствование существующих методов высокопроизводительных и параллельных вычислений
для решения задач математического моделирования;
• текущее содержание и развитие материально-технической базы ЦКП путем дооснащения имеющихся комплексов современным техническим оборудованием и программными средствами для обеспечения и развития исследований в научных учреждениях КарНЦ РАН.
Высокопроизводительная вычислительная система КарНЦ РАН располагается в специальном помещении, оборудованном мощным источником бесперебойного питания APC Smart-UPS 15KVA/12kW 400V и системой кондиционирования воздуха, обеспечивающей необходимые климатические условия.
Аппаратное обеспечение. Вычислительный кластер — это группа компьютеров, объединенных высокоскоростными каналами связи и представляющая с точки зрения пользователя единый аппаратный ресурс. Кластер ЦКП состоит из одного управляющего и десяти вычислительных узлов, характеристики которых приведены в таблице. Узлы объединены управляющей сетью на базе Gigabit Ethernet и высокопроизводительной сетью передачи данных на базе интерфейса InfiniBand 4X DDR, обеспечивающего пропускную способность до 20 Гбит/с.
Пользователям ЦКП также доступна система хранения данных (СХД) ReadyStorage SAN 3994, состоящая из 16 жестких дисков емкостью по 146 Гбайт каждый, объединенных в RAID-массив 5 уровня. Доступ к СХД осуществляется через два высокоскоростных оптических интерфейса Fibre Channel.
Пиковая производительность кластера согласно проектной документации составляет 851 Гфлопс, производительность, показанная на тесте Linpack, — 637.2 Гфлопс.
Характеристики узлов кластера
Тип узла Управляющий Вычислительный
CPU 2xQuad-Core Intel Xeon 5430 2,66 ГГц 2xQuad-Core Intel Xeon 5430 2,66 ГГц
RAM 4 Гб FB-DIMM DDR2-667 REG ECC 4 Гб FB-DIMM DDR2-667 REG ECC
HDD 6x146 Гб SAS 15000 rpm 2x250 Гб SCSI
Программное обеспечение и доступ к ресурсам. Вычислительный кластер работает под управлением операционной системы SUSE Linux Enterprise Server 10, которая установлена как на управляющем, так и на вычислительных узлах. Для осуществления круглосуточного мониторинга доступности кластера и предотвращения нештатных ситуаций весной 2010 г. была установлена специализированная система мониторинга Nagios, которая в автоматическом режиме оповещает администратора кластера о возникающих неполадках. Сбор статистики по интенсивности использования аппаратных ресурсов (загрузка процессоров, использование оперативной памяти, пропускной способности сети и др.) осуществляется системой Ganglia. Для управления очередью задач на кластере установлена система SLURM.
Для пользователей ЦКП на кластере доступен набор инструментов разработки параллельных программ Intel Cluster Toolkit Compiler Edition, включающий в себя:
• производительные оптимизирующие компиляторы языков C, C++, Fortran;
• библиотеку математических функций Intel Math Kernel Library;
• средство отладки Intel Debugger;
• средство оптимизации Intel Trace Analyzer and Collector.
Для отладки также можно использовать систему Total View Debugger. Программистам доступны несколько версий библиотеки MPI: Intel MPI, MVAPICH2, MVAPICH, OpenMPI, MPICH; установлена библиотека для разработки программ с общей памятью Intel OpenMP.
Доступ к кластеру для пользователей ЦКП организован с использованием протокола ssh из локальной сети КарНЦ и глобальной сети Интернет. Для удобства пользователей создан и поддерживается сайт ЦКП [ЦКП КарНЦ РАН, 2011], на котором содержится информация о правилах доступа, имеются краткие руководства пользования кластером и другая полезная информация, публикуются новости Центра высокопроизводительной обработки данных. На сайте также поддерживается
раздел, позволяющий в реальном времени отслеживать занятость узлов кластера, размер очереди задач и примерное время до завершения выполнения задач.
Образовательная деятельность. Работа, направленная на подготовку специалистов по параллельным вычислениям, велась сотрудниками ИПМИ КарНЦ РАН в рамках спецкурсов «Методы и алгоритмы параллельных вычислений», «Введение в параллельные вычисления» (д. ф.-м. н., проф. А. В. Соколов), «Современные технологии высокопроизводительных вычислений» (к. ф.-м. н. Е. Е. Ивашко). Всего за 2009-2010 учебный год обучение прошли 55 человек.
В целях популяризации высокопроизводительных и параллельных вычислений, а также для повышения заинтересованности в использовании ресурсов вычислительного кластера, силами сотрудников ЦКП с привлечением пользователей ЦКП были организованы и проведены семинары: «Ресурсы вычислительного кластера ЦКП КарНЦ РАН» (к. ф.-м. н. Е. Е. Ивашко, А. С. Румянцев, ИПМИ КарНЦ РАН), «GRID-сегмент КарНЦ РАН и основы разработки программ для GRID-платформы BOINC» (Н. Н. Никитина, ИПМИ КарНЦ РАН), «Опыт использования пакета Firefly для моделирования расплавов» (О. В. Кременецкая, ПетрГУ), «Опыт разработки параллельных программ» (А. М. Караваев, ПетрГУ).
Все семинары проходили в «открытом» режиме, объявления о проводимых мероприятиях размещались на сайте ЦКП, на информационных досках институтов КарНЦ РАН и направлялись по электронной почте согласно списка рассылки пользователей ЦКП.
Исследования, проводимые с использованием высокопроизводительной системы КарНЦ РАН. В этом разделе представлены краткие описания некоторых задач, решаемых пользователями ЦКП с использованием высокопроизводительной системы КарНЦ РАН. Описания приводятся согласно отчетам пользователей Центра высокопроизводительной обработки данных.
• Численное моделирование крупномасштабной гидродинамики Белого моря
(к. ф.-м. н. И. А. Чернов, ИПМИ КарНЦ РАН)
В основу исследования положена модель крупномасштабной циркуляции Арктики, разработанная д. ф.-м. н. Н. Г. Яковлевым (ИВМ РАН, г. Москва) и адаптированная для Белого моря. Модель представляет собой систему дифференциальных уравнений в частных производных для полей скоростей течений, температуры и солености в области сложной формы, в ней учтены метеорологические данные, солнечная радиация, приливы, сток рек. Численное решение такой системы требует значительных вычислительных ресурсов.
В настоящее время модель воспроизводит качественное состояние вод и льда. Ведется разработка параллельной версии программной реализации модели.
• Свойства природных липидных мембран (д. ф.-м. н. А. Л. Рабинович, ИБ КарНЦ рАн, Д. В. Журкин, ПетрГУ)
Проект направлен на исследование структурной организации и физических свойств природных мембран методами имитационного компьютерного моделирования. Основными задачами проекта являются:
1. исследование компонентов природных мембран — липидных бислоев методом молекулярной динамики;
2. исследование отдельных молекул липидных бислоев различными методиками метода Монте-Карло.
При исследовании отдельных молекул липидных бислоев основной задачей является установление взаимосвязей и закономерностей между химической структурой и физическими свойствами молекул в разных условиях, а также их функциями в мембране.
С использованием кластера были исследованы температурные зависимости некоторых свойств основных молекул липидных бислоев методом Монте-Карло в рамках простой и существенной выборок. Исследовались средние размеры молекул (средний квадрат расстояния между концевыми атомами цепи, средний квадрат радиуса инерции и т. п.), термодинамические свойства молекул (средние значения отдельных компонентов энергии конформации, теплоемкость и т. п.).
Работа поддержана РФФИ, грант № 10-03-00201а, а также грантом Президента РФ для ведущих научных школ НШ-3731.2010.4 и Visby programme 00961/2008.
Модели многосерверных систем обслуживания (д. ф.-м. н., проф. Е. В. Морозов, А. С. Румянцев, ИПМИ КарНЦ РАН)
На основе классической модели Кифера-Вольфовица для вектора загруженности системы построена упрощенная модель вычислительного кластера. Исследуются моментные и корреляционные свойства векторов состояния системы, в т. ч. времени ожидания заявок в очереди, что в свою очередь позволяет характеризовать качество обслуживания в системе (QoS).
Работа поддержана РФФИ, грант № 10-07-00017а.
Прогнозирование состава устойчивых комплексных частиц в расплавах гало-генидов щелочных металлов на основе квантовохимических расчетов модельных систем (О. В. Кременецкая, ПетрГУ)
Объектом исследования являются расплавы фторидов и хлоридов щелочных металлов Na, K, Cs, содержащих небольшие добавки фторидных и хлоридных комплексов переходных металлов. Интерес к данным объектам обусловлен тем, что они являются средой, широко используемой для технологических процессов, таких как получение чистых и высокочистых металлов; получение защитных и каталитически активных покрытий; синтез соединений, которые невозможно получить из водных и неводных сред при низких температурах.
Знание состава комплексов в расплаве позволяет гораздо точнее моделировать химические реакции и перенос заряда в расплаве. А знание механизма и влияния на него разных факторов (состава, температуры, поверхности) даст возможность управления реакцией. Работы ведутся совместно с лабораторией высокотемпературной электрохимии Института химии Кольского НЦ РАН.
Расчеты проводятся квантовохимическими методами HF, MP2, DFT с помощью программы Firefly. Экспериментально установлено, что процесс переноса заряда в исследуемых объектах протекает по-разному в зависимости не только от
катионного, но и от анионного состава электролита расплава. Это обстоятельство делает необходимым при расчете различных характеристик включение в модельную систему не только второй, но и третьей координационной сферы комплексов переходных металлов.
Работа выполняется при финансовой поддержке РФФИ, грант № 08-03-
00397а).
Всего со ссылкой на вычислительный кластер КарНЦ РАН пользователями ЦКП было опубликовано 13 статей в научных журналах и трудах конференций.
Грид-сегмент КарНЦ РАН. Другим перспективным способом организации ресурсов для проведения высокопроизводительных вычислений является технология Грид. В августе 2010 г. на базе ЦКП КарНЦ РАН был создан Грид-сегмент для использования свободных вычислительных ресурсов кластера, серверов и настольных компьютеров сотрудников ИПМИ КарНЦ РАН. В качестве промежуточного программного обеспечения Грид используется широко распространенная платформа ВОШС [ВошС, 2011] с открытым исходным кодом. Платформа имеет архитектуру «клиент-сервер», при этом клиентская часть может работать на компьютерах с различным аппаратным и программным обеспечением. К маю 2011 г. в состав Грид были включены управляющий и вычислительные узлы кластера, четыре сервера и один персональный компьютер ИпМИ КарНЦ РАН (всего 16 вычислительных узлов). На текущий момент вычислительные ресурсы Грид доступны всем пользователям Центра высокопроизводительной обработки данных.
Для обеспечения доступа пользователей к ресурсам Грид-сегмента разработан и запущен в тестовую эксплуатацию веб-интерфейс для запуска вычислений в Грид-сегменте КарНЦ РАН. Помимо запуска вычислений, пользователи также имеют возможность получить через веб-интерфейс информацию о статусе выполнения рабочих заданий а также при необходимости добавить новые задания в Грид-проект.
На базе Грид нами разрабатывается «облачный» сервис организации и проведения математических вычислений. В основе «облачных» вычислений лежит подход, согласно которому пользователь по требованию получает удаленный доступ к вычислительным ресурсам в виде Интернет-сервиса, при этом структура организации ресурсов от него
скрыта. Специальный веб-интерфейс позволяет «прозрачно» для пользователя инициировать Грид-проект, выполняющий на одном из вычислительных узлов заданную пользователем последовательность команд на математическом языке высокого уровня. В настоящее время поддерживается язык математического пакета Octave. Результаты вычислений также предоставляются пользователю через вебинтерфейс.
В конце 2010 — начале 2011 гг. организована тестовая эксплуатация Грид-сегмента и выполнен ряд расчетов в интересах пользователей ЦКП, проводящих научные исследования:
• для проекта по математическому моделированию кинетики гидридного фазового перехода (к. ф.-м. н. И. А. Чернов, ИПМИ КарНЦ РАН) на Грид было выполнено более 250 тыс. рабочих заданий, в рамках которых независимо друг от друга осуществлялась проверка наборов параметров, обеспечивающих совпадение модельной кривой с экспериментальной в пределах заданной погрешности. Обработка результатов вычислений на стороне Грид-сервера включала в себя автоматический отбор результатов, удовлетворяющих критерию, заданному пользователем;
• для проекта по прогнозированию состава устойчивых комплексных частиц в расплавах галогенидов щелочных металлов на основе квантовохимических расчетов модельных систем (О. В. Кременец-кая, ПетрГУ) вычисления проводились с использованием программного пакета для квантовохимических расчетов Firefly. При помощи Грид был проведен ряд экспериментов по расчету энергий систем частиц с различными параметрами;
• проведены первые расчеты в рамках проекта по разработке эволюционной модели и алгоритмов для решения потоковой задачи Штейнера в приложении к распределительным электрическим сетям (В. Д. Кукин, ИПМИ КарНЦ РАН).
Заключение. Следуя целям своего создания и общемировым тенденциям, ЦКП КарНЦ РАН стремится к развитию и популяризации высокопроизводительных вычислений, предоставлению своим пользователям удобного доступа, достаточных вычислительных ресурсов и современного высокопроизводительного программного обеспечения.
©'
Таким образом, за период с момента создания ЦКП была проделана определенная научная, организационная и образовательная работа. Приобретение и освоение новых программных продуктов, отвечающих потребностям пользователей научных учреждений КарНЦ РАН, позволит повысить эффективность и расширить сферу применения кластера и системы хранения данных при проведении фундаментальных и прикладных научных исследований.
ЛИТЕРАТУРА
Положение о центре коллективного пользования КарНЦ РАН «Центр высокопроизводительной обработки данных» // иИЬ: http://cluster.krc.karelia.ru/doc/polozhenie.pdf (дата обращения 13.05.2011).
Правила доступа к кластеру и системе хранения данных ЦКП «Центр высокопроизводительных вычислений» КарНЦ РАН // иИЬ: http://cluster.krc.karelia.ru/doc/pravila.pdf (дата обращения 13.05.2011).
ЦКП КарНЦ РАН Центр высокопроизводительной обработки данных / / иИЬ: http://cluster.krc.karelia.ru/ (дата обращения
13.05.2011).
ВОШС: свободно распространяемое ПО
для проведения Грид-вычислений // иИЬ: http://boinc.berkeley.edu (дата обращения
13.05.2011).
В. Т. Вдовицын, А. Д. Сорокин, Е. Е. Ивашко, А. С. Румянцев, Н. Н. Никитина
