CC BY
9
ISSN 2079-3316 ПРОГРАММНЫЕ СИСТЕМЫ: ТЕОРИЯ И ПРИЛОЖЕНИЯ №4(31), 2016, с. 197-208 удк 004.75
Д. И. Харитонов, Г. В. Тарасов, Д. В. Леонтьев, Р. В. Парахин,
В. В. Грибова
Текущее состояние и перспективы развития
центра коллективного пользования «Дальневосточный Вычислительный Ресурс»
Аннотация. В работе дается краткий обзор истории развития центра коллективного пользования «Дальневосточный Вычислительный Ресурс», созданного при Институте автоматики и процессов управления ДВО РАН (ЦКП ДВВР). Описаны текущие вычислительные ресурсы и статистика их использования. Рассматриваются примеры решаемых прикладных задач, проводимых различными учреждениями ДВО РАН на оборудовании ЦКП. Обозначены планы развития центра на ближайшее будущее.
Ключевые слова и фразы: суперкомпьютерные технологии, высокопроизводительные вычислительные системы.
1. История создания ЦКП
Центр коллективного пользования «Дальневосточный вычислительный ресурс» был создан в 1999 г. на базе лаборатории суперкомпьютерных и распределенных вычислительных технологий Института автоматики и процессов управления ДВО РАН. Цель создания — формирование и развитие технологической базы параллельных вычислений в ДВО, разработка и внедрение новых методов и средств параллельного программирования для решения сложных фундаментальных и прикладных задач в различных областях исследований, проводимых научными учреждениями ДВО РАН. Статус ЦКП ДВО РАН определен постановлением № 82 Президиума ДВО РАН от 24.06.2004. В 2015 году центр был зарегистрирован в системе Современная исследовательская инфраструктура Российской Федерации.
При создании ЦКП были определены следующие научные и научно-технические задачи:
© Д. И. Харитонов, Г. В. Тарасов, Д. В. Леонтьев, Р. В. Парахин, В. В. Грибова, 2016 © Институт автоматики и процессов управления ДВО РАН, 2016 © Программные системы: теория и приложения, 2016
• техническое, программное и технологическое сопровождение и развитие высокопроизводительных вычислительных ресурсов в ДВО РАН;
• теоретические и прикладные исследования в области разработки методов и средств параллельного и распределенного программирования, верификации и анализа параллельных программ;
• решение сложных вычислительных задач компьютерного моделирования в различных областях науки и техники;
• формирование базы вычислительного программного обеспечения по областям исследований: гидро- и газодинамика, молекулярная динамика, квантовая химия, вычислительная математика, параллельное программирование, машинная графика, физика, оптика и др.;
• поддержка пользователей, оказание консультационных услуг научным институтам ДВО РАН и образовательным учреждениям в Дальневосточном федеральном округе (ДФО).
2. Вычислительные ресурсы ЦКП
За время своего существования в ЦКП эксплуатировалась различная вычислительная техника. В 1999 году был запущен первый кластер МВС-1000/16 производства НПО «Квант» пиковой производительностью 12,8 GFLOPS. Кластер состоял из 16 узлов, каждый из которых был оснащен процессором Intel Pentium III 800 МГц и 512 Мбайт оперативной памяти. Узлы связывали сервисная сеть для управления и обмена файлами и системная сеть для организации взаимодействия MPI-процессов. На тестах LINPACK данный кластер показывал реальную производительность порядка 9 GFLOPS, что составляло порядка 70% процентов от пиковой.
В 2001 году был запущен второй кластер МВС-1000/17 также производства НПО «Квант» пиковой производительностью 34 GFLOPS. Кластер состоял из 17 узлов. На каждом узле было по два процессора Intel Pentium III 1 ГГц и 1 Гбайт оперативной памяти. В составе кластера также было две сети для управления, обмена файлами и обеспечения взаимодействия параллельных процессов. На тестах LINPACK реальная производительность кластера достигала порядка 19 GFLOPS, что составляло примерно 55% от пиковой.
В период с 2002 по 2007 год в ЦКП было еще запущено два небольших кластера, построенных по архитектуре Beofwulf пиковой производительностью 24 и 32 GFLOPS соответственно.
В 2007 году в распоряжение ЦКП была передана часть вычислительной системы МВС-15000 из МСЦ РАН. На тот момент это был значительный скачок в развитии центра. Новый кластер, названный МВС15К, имел 84 узла и обладал пиковой производительностью 1,5 TFLOPS. Кластер был построен на процессорах IBM PowerPC 972.2 ГГц и имел 336 Гбайт оперативной памяти. Системная сеть была построена по технологии Myrinet-2000 с пропускной способностью 4 Гбит/с.
В 2011 году произошел второй значительный скачок в развитии центра. Была введена в эксплуатацию новая современная вычислительная система SMH11, построенная на оборудовании компании Supermicro, а также была проведена модернизация кластера МВС-1000/17. Новый кластер SMH11 имел 35 вычислительных узла трех типов следующей конфигурации:
(1 ) 17 узлов — 4 х12-ядерных процессора AMD Opteron 6164HE 1,7 ГГц и 64 Гбайт оперативной памяти;
(2) 10 узлов — 4 х12 ядерных процессора AMD Opteron 6174 2,2 ГГц и 128 Гбайт оперативной памяти.
(3) 8 узлов — 2 х4-ядерных процессора Intel Xeon L5609, 32 Гбайт оперативной памяти и два графических ускорителя NVIDIA Tesla M2050.
Системная и сервисная сети кластера были построены с использованием технологии Infiniband 4xQDR (40 Гбит/с). Объем системы хранения данных составлял 72 Тбайт. Кластер работал под управлением операционной системы GNU/Linux.
В кластере МВС-1000/17 были полностью заменены узлы на более современное оборудование, установлено два графических ускорителя NVIDIA Tesla C2050, системная сеть заменена на Myrinet-2000 (4 Гбит/с). Пиковая производительность МВС-1000/17 составила порядка 1,3 TFLOPS.
В этом же 2011 году было проведено значительное переоборудование инфраструктуры ЦКП. Были сняты с эксплуатации и демонтированы старые вычислительные установки, проведена модернизация системы бесперебойного питания (48 кВт), установлены новые системы кондиционирования воздуха.
С 2011 по 2016 год ЦКП поддерживал работу и наращивал производительность своей главной вычилсительной системы SMH11. Была модернизирована сервисная сеть на Infiniband 4xQDR. Было установлено два новых узла с новыми сопроцессорами Intel Xeon Phi 7120P.
200 Д. И. Харитонов, Г. В. Тарасов, Д. В. Леонтьев, Р. В. Парахин, В. В. Грибова ТАБЛИЦА 1. Статистика использования
Характеристика 2013 2014 2015
Max время выполнения задачи 35 дней 24 дня 7 дней a
Кол-во задач, 545 248 749
выполняющихся более суток
Кол-во задач, 942 887 1480
выполняющихся более 10 часов
Среднее время выполнения задачи 5 часов 7 часов 8 часов
Среднее кол-во запрашиваемых ядер 30 42 48
Max кол-во запрашиваемых ядер 576 672 576
Всего выполнено заданий 201078 204163 730026
а В 2015 году максимальное время выполнения было ограничено 7 днями, так как запросы пользователей стали превышать возможности ЦКП
Таким образом, в настоящий момент в ЦКП ДВВР активно эксплуатируется две вычислительные установки. Кластер ВЫИИ используется для проведения массивных вычислительных экспериментов и доступен всем заинтересованным пользователям. Кластер МВС-1000/17М в основном используется как площадка для отладки некоторых программ и для обучения студентов основам параллельного программирования. Общая пиковая производительность вычислительных ресурсов ЦКП ДВВР составляет 23,3 ХЕШГВ.
В таблице 1 показана статистика использования вычислительных ресурсов центра за период с 2013 по 2015 годы. Из таблицы видно, что из года в год происходит постоянное увеличение количества «больших» задач: пользователям требуется больше ресурсов на больший промежуток времени. До 2015 года ЦКП устанавливал мягкие ограничения на время выполнения заданий пользователей, можно было запускать задания на очень длительный срок. С увеличением запросов пользователей такая политика привела к очень длительным простоям задач в очереди. Начиная с 2015 года, ЦКП ввел жесткое ограничение на время счета (не более 7 суток), что позволило немного разгрузить очередь и уменьшить время ожидания ресурсов. Тем не менее, текущая политика управления ресурсами не позволяет удовлетворить все потребности пользователей. В настоящее время загрузка кластеров ЦКП составляет порядка 95%. В пиковые периоды время ожидания в очереди может достигать нескольких дней. Наблюдается значительная нехватка вычислительных ресурсов для обеспечения всех запросов пользователей.
Рис. 1. Модель циркуляции вод северо-западной части Тихого океана и окраинных морей на основе Региональной океанографической модели (ROMS)
3. Пользователи ЦКП
В настоящее время количество активных пользователей ЦКП составляет 25 человек. За все время существования центра насчитывается более 55 зарегистрированных пользователей из различных организаций. Пользователями вычислительных ресурсов ЦКП ДВВР выступают институты ДВО РАН и высшие учебные заведения (ДВФУ, ВГУЭС) для проведения практических занятий для студентов.
Основные направления исследований пользователей ЦКП:
• наноструктуры и нанотехнологии,
• молекулярная динамика,
• квантовая химия,
• биоинформатика,
• обработка спутниковых данных,
• океаногология и геофизика.
Далее представлена краткая информация о некоторых работах пользователей из учреждений ДВО РАН и ВУЗов.
3.1. ТОИ ДВО РАН
Пользователи ЦКП ДВВР из Тихоокеанского океанологического института им. В.И. Ильичева ДВО РАН используют вычислительные мощности для моделирования циркуляции вод. Для расчета течений
Pb+TL-Si(lll)NxN - (3BL) РВЕ +d
Рис. 2. Структурное сравнение сплавов PbTl-Si(111)
используется численная гидродинамическая модель ROMS - Régional Océan Modeling System. Область моделирования лежит в пределах 28°N-63°N, 127°E-1670E и включает Японское и Охотское моря. Цель исследований — анализ сезонной и межгодовой изменчивости циркуляции вод исследуемого района [1].
3.2. ДВФУ
Сотрудники кафедры физики низкоразмерных структур Дальневосточного федерального университета проводят исследования по моделированию двумерных структур на поверхности кремния. Последние работы сотрудников кафедры связаны с синтезом нового класса двумерных упорядоченных сплавов на монокристаллической поверхности кремния, обладающих спин-расщепленными металлическими поверхностными состояниями. Моделирование атомной, электронной и спиновой структуры осуществляются с помощью пакета VASP на кластере SMH11. В результате удалось рассчитать атомную и электронную структуру со спиновым разрешением для сплавов PbTl-Si(111) на различных размерах элементарной ячейки, используя метод случайного поиска структур Ab Initio Random Structure Search (AIRSS), установить модель атомной структуры для ряда соединений, вычислить и построить электронные структуры этих соединений, а также проекции объемных состояний зонной структуры подложки разных размеров [2].
Рис. 3. (а) — полутоновое ИК изображение облачности тайфуна «Fung Wong» внизу и тайфуна «Fengshen» вверху; (б) — поле ветра, соответствующее этому изображению с отметками центров тропических циклонов
3.3. ИАПУ ДВО РАН
Одним из крупных потребителей ресурсов ЦКП ДВВР является ЦКП Регионального спутникового мониторинга окружающей среды ДВО РАН. ЦКП Регионального спутникового мониторинга окружающей среды ДВО РАН — научно-исследовательское учреждение, осуществляющее исследовательскую и информационную деятельность в целях изучения природных и техногенных процессов в Дальневосточном регионе. В центр непрерывно поступают данные с различных спутников. Первичная обработка данных (прием, привязка, калибровка, атмосферная коррекция, построение проекций) производится с использованием пакетов AAPP, SeaDAS, RTTOV, MetOffice-1Dvar и собственных программных разработок как на собственном оборудовании, так и на оборудовании ЦКП ДВВР.
Одной из актуальных тем исследований пользователей ЦКП мониторинга является разработка системы автоматического мониторинга тропических циклонов (см. рис. 3) [3].
Рис. 4. Полноатомные 3Ю-модели мономера и димера фосфолипазы А1 Y. pseudotuberculosis
3.4. ТИБОХ ДВО РАН
Лаборатория биоиспытаний и механизма действия биологически активных веществ при Тихоокеанском институте биоорганической химии им. Г.Б. Елякова ДВО РАН с помощью оборудования ЦКП ДВВР производит моделирование различных природных и синтетических соединений.
Так, впервые получены полноатомные ЗБ-модели высокой точности структуры фермента фосфолипаза А1 бактерии Y. pseudotuberculosis (см. рис. 4), которая вызывает заболевание Дальневосточной скарлатиноподобной лихорадкой (псевдотуберкулез). Глубокое понимание свойств и механизмов действия данного фермента на клетки микроорганизма позволяет подойти к проблеме изготовления эффективных лекарственных препаратов для борьбы с опасным заболеванием.
Методами структурной биоинформатики получены теоретические модели пространственной структуры лектина (см. рис. 5) голотурии Apostichopus japonicus (Дальневосточный трепанг). Методами молекулярной динамики изучены некоторые модификации структуры данного белка. Обнаружены свойства модифицированных белков, которые позволяют применять их при диагностике раковых заболеваний [4].
4. Планы развития на ближайшие годы
Можно выделить три первоочердные задачи, которые необходимо решить ЦКП ДВВР в ближайшем будущем. Во-первых, необходимо срочно провести модернизацию вычислительных ресурсов центра. Основной кластер SMH11 уже не справляется с текущими запросами
Рис. 5. Модель ЗВ-структуры мономера лектина МБЬ-ЛЛ
пользователей. Остальная техника морально устарела и не может использоваться для решения современных научно-исследовательских задач. Для решения этой задачи уже предприняты определенные шаги. Благодаря целевому финансированию со стороны ФАНО России, в ближайшие месяцы будет проведена модернизация оборудования ЦКП. На I квартал 2017 года запланирована установка кластера производительностью 56 ТРЬОРЯ (40-48 узлов, порядка 1600 ядер). В результате модернизации общая пиковая производительность вычислительных ресурсов ЦКП ДВВР составит 79,3 ТРЬОРЯ. Во-вторых, необходимо проводить активную работу по продвижению параллельных вычислений в ДФО, поиску новых пользователей и новых задач. Предоставление современных вычислительных ресурсов под эти задачи. В-третьих, необхожимо расширять научный потенциал самого ЦКП ДВВР, привлекать новых специалистов для решения сложных наукоемких задач, сотрудничать с другими вычислительными центрами РАН в России.
Авторы выражают благодарность за предоставленную информацию к.ф.-м.н. с.н.с. Лихацкой Г.Н. ТИБОХ ДВО РАН, к.т.н. Фай-ман П. А. ТОИ ДВО РАН, к.ф.-м.н. Михалюку А. Н. ДВФУ, к.т.н. Еременко А. С. ИАПУ ДВО РАН.
Список литературы
[1] П. А. Файман. «Сезонная изменчивость циркуляции вод Охотского моря, рассчитанная на основе стационарной модели океана», Вестник Дальневосточного отделения Российской академии наук, 6:184 (2015), с. 21-28. t 202
[2] A.N. Mihalyuk et al. "Synthesis of two-dimensional Т1ж Bi1-X compounds and Archimedean encoding of their atomic structure", Scientific Reports, 6 (January 2016), 19446. t 202
[3] А. С. Еременко. Автоматический мониторинг тропических циклонов по данным метеорологических спутников Земли, Дис. ... к. т.н., ИАПУ ДВО РАН, 2014, 104 с. t 203
[4] L. Balabanova, V. Golotin, S. Kovalchuk, A. Bulgakov, G. Likhatskaya, O. Son, V. Rasskazov. "A Novel Bifunctional Hybrid with Marine Bacterium Alkaline Phosphatase and Far Eastern Holothurian Mannan-Binding Lectin Activities", PLOS one, 9:11 (November 2014), pp. 1-11. t 204
Рекомендовал к публикации Программный комитет
Пятого национального суперкомпьютерного форума НСКФ-2016
Пример ссылки на эту публикацию:
Д. И. Харитонов, Г. В. Тарасов, Д. В. Леонтьев, Р. В. Парахин, В. В. Грибова. «Текущее состояние и перспективы развития центра коллективного пользования «Дальневосточный Вычислительный Ресурс»», Программные системы: теория и приложения, 2016, 7:4(31), с. 197-208.
http://psta.psiras.ru/read/psta2016_4_197-208.pdf
Дмитрий Иванович Харитонов
К. т. н., с. н. с. ИАПУ ДВО РАН. Руководитель центра коллективного пользования «Дальневосточный Вычислительный Ресурс» ДВО РАН. Научные интересы: верификация программ, моделирование программ, параллельные языки программирования и трансляция программ
e-mail: demiurg@dvo.ru
Георгий Витальевич Тарасов
Научный сотрудник ИАПУ ДВО РАН. Ведущий инженер-программист центра коллективного пользования «Дальневосточный Вычислительный Ресурс» ДВО РАН. Научные интересы: параллельное программирование, верификация программ и анализ производительности программ
e-mail: george@dvo.ru
Денис Васильевич Леонтьев
Инженер-программист центра коллективного пользования «Дальневосточный Вычислительный Ресурс» ДВО РАН. Научные интересы: параллельное программирование, моделирование и верификация программ, параллельные языки программирования
e-mail: devozh@dvo.ru
Роман Валерьевич Парахин
Инженер-программист центра коллективного пользования «Дальневосточный Вычислительный Ресурс» ДВО РАН. Научные интересы: параллельное программирование, анализ программ и трансляция программ
e-mail: fadak@dvo.ru
Валерия Викторовна Грибова
Зав. лаб. Интеллектуальных систем ИАПУ ДВО РАН, зам. директора по научной работе. Профессор Дальневосточного федерального университета и Владивостокского государственного университета экономики и сервиса. Область научных интересов: интеллектуальные системы, пользовательские интерфейсы, облачные технологии
e-mail: gribova@dvo.ru
Dmitry Kharitonov, Georgiy Tarasov, Denis Leontyev, Roman Parakhin, Valeriya Gribova. State of the art and development prospects of the ¡Shared Resource Center "Far Eastern Computing Resource" IACP FEB RAS.
Abstract. The paper gives a brief overview of the history of Shred Resource Center ^Far-Eastern Computing Resources», created at the Institute of Automation and Control Processes FEB RAS (SRC FECR). Current computing resources and their usage statistics are described. The examples of user applications carried out by different institutes in FEB RAS are considered. Center development plans for the near future are marked and discussed. (In Russian).
Key words and phrases: Supercomputer technologies, high-performance computing systems.
References
[1] P. A. Fayman. "Seasonal variability of water circulation in the Sea of Okhotsk
calculated using a stationary ocean model", Vestnik Dal'nevostochnogo otdeleniya Rossiyskoy akademii nauk, 6:184 (2015), pp. 21—28 (in Russian).
[2] A.N. Mihalyuk et al. "Synthesis of two-dimensional Tl^Bix—^ compounds and Archimedean encoding of their atomic structure", Scientific Reports, 6 (January 2016), 19446.
[3] A. S. Yeremenko. Automatic monitoring of tropical cyclones according to meteorological satellites, Dis. ... k. t.n., IAPU DVO RAN, 2014 (in Russian), 104 p.
[4] L. Balabanova, V. Golotin, S. Kovalchuk, A. Bulgakov, G. Likhatskaya, O. Son, V. Rasskazov. "A Novel Bifunctional Hybrid with Marine Bacterium Alkaline Phosphatase and Far Eastern Holothurian Mannan—Binding Lectin Activities", PLOS one, 9:11 (November 2014), pp. 1-11.
Sample citation of this publication:
Dmitry Kharitonov, Georgiy Tarasov, Denis Leontyev, Roman Parakhin, Valeriya Gribova. "State of the art and development prospects of the Shared Resource Center "Far Eastern Computing Resource" IACP FEB RAS", Program systems: Theory and applications, 2016, 7:4(31), pp. 197-208. (In Russian). URL: http://psta.psiras.ru/read/psta2016_4_197-208.pdf
© D. I. Kharitonov, G. V. Tarasov, D. V. Leontyev, R. V. Parakhin, V. V. Gribova, 2016 © Institute of Automation and Control Processes of the Far Eastern Branch of the RAS, 2016 © Program systems: Theory and Applications, 2016
