Зачем и какие суперкомпьютеры экзафлопсного класса нужны в естественных науках Текст научной статьи по специальности «Математика»

УДК 519.6

Г. Э. Норман, Н. Д. Орехов, В. В. Писарев, Г. С. Смирнов, С. В. Стариков, В. В. Стегайлов, А. В. Янилкин

Зачем и какие суперкомпьютеры экзафлопсного класса нужны в естественных науках

Аннотация. Рассматривается подход, позволяющий выявить задачи, для решения которых нужны как современные суперкомпьютеры, так и создаваемые в настоящее время суперкомпьютеры пре-экзафлопсного класса. Возможности подхода рассмотрены на примерах актуальных задач механики, физики, химии и биологии. Включены как атомистическое моделирование, так и механика сплошных сред. Показаны преимущества тороидальной топологии. Предложены рекомендации по процедурам выбора конструкции планируемых суперкомпьютеров.

Ключевые слова и фразы: атомистическое моделирование, электронная структура, молекулярная динамика, многомасштабное моделирование, радиационное старение, лазерная абляция, нуклеация, полимеры, параллельная эффективность.

Введение

Развитие суперкомпьютерных технологий в США и других передовых странах встало на путь радикального наращивания числа вычислительных элементов. Серия систем IBM BlueGene/L [1] была с самого начала задумана для развития технологии массового параллелизма. В 2006 году, когда системы IBM BlueGene прошли начальную апробацию и появились суперкомпьютеры Cray XT3/4, для развития алгоритмов параллельного решения математических задач на этих новых системах Департамент энергетики США (DOE) расширил уже существовавшую ранее программу Innovative and Novel

Работа частично поддержана грантами программы фундаментальных исследований Президиума РАН № 43 (координатор ак. Бетелин В.Б.), РФФИ 13-01-12070-офи_м. Отдельные авторы частично поддержаны грантами РФФИ 13-08—01428-а (Смирнов Г. С., Стегайлов В. В.), 14-08-31550-мол_а (Смирнов Г. С., Орехов Н.Д.), 14-08-31587-мол_а (Писарев В. В.), стипендией Президента РФ для молодых учёных (Писарев В. В.).

© Г. Э. НОРМАН« , Н. Д. ОРЕХОВ« , В. В. ПИСАРЕВ« , Г. С. Смирнов«, С. В. СТАРИКОВ« , В. В. Стегайлов« , А. В. Янилкин«, 2015

© Объединенный институт высоких температур РАН«1'2'3'4'5'6' , 2015 © Московский физико-технический институт«1'2'3'4'5'6' , 2015 © Всероссийский НИИ автоматики им. Н. Л. Духова« , 2015 © Программные системы: теория и приложения, 2015

Таблица 1. Число проектов, получивших компьютерное время на системах IBM BlueGene L/P/Q и Cray XT3/4/5/XK7 по программе INCITE в 2006-2015 гг.

Год 06 07 08 09 10 11 12 13 14 15

Число проектов 15 45 58 66 70 57 60 61 59 56

Computational Impact on Theory and Experiment (INCITE) [2]. Так в 2012 году на 60 проектов (таблица 1) было выделено 1672 миллиона процессор-часов на суперкомпьютерах IBM BlueGene/P и Cray XT5. Показательным является тот факт, что в программе INCITE участвуют системы только с тороидальной топологией.

Как показано на рис. 1, тематика проектов INCITE охватывает практически все области науки и техники. Исходя из доступного краткого описания, все проекты с некоторой долей условности разделены на следующие тематики: атомистические модели (Ab initio—расчёты из первых принципов и MD — молекулярная динамика), модели в рамках механики сплошных сред (CFD), астрофизические модели (Astrophys), физика плазмы (Plasma), квантовая хромодинамика (QCD), физика ядра (Nuclear), computer science (CS). Атомистические модели (Ab initio и MD) охватывают очень широкие приложения от механики ударно-волнового разрушения до химических реакций и систем биомолекул. В программу INCITE принимаются проекты с международным участием, даже без партнера из США.

Обязательным условием получения расчётного времени по программе INCITE является использование массового параллелизма. Задачи, связанные с одновременным запуском большого числа однотипных задач (тривиальный параллелизм для набора статистики), рассматриваются, однако не являются приоритетными [2]. От алгоритма решения прикладной задачи требуется демонстрировать параллельную эффективность на вычислительном поле порядка 20% используемой машины. В 2011 году это соответствовало размеру вычислительного поля порядка 20 тысяч ядер, а в 2013-14 гг. — 200 тысяч ядер!

Как для задач крупномасштабного суперкомпьютерного физико-математического моделирования, так и для задач обработки больших объемов данных второй важнейшей технической задачей на пути в «эру экзафлопса» является организация параллельного ввода-вывода с сотен тысяч и миллионов ядер.

Nuclear Qg

Nuclear 204.0 CS \ 162.0

Astrophys-4

Plasma

QCD\

Ab initio

MD 11.5

Astrophys 415.0

Plasma 835.0

-MD 913.5

CFD 17.5

CFD

1660.5

(а) число проектов по тематике (Ъ) выделенное время в миллио-

нах процессоро-часов

Рис. 1. Деление проектов INCITE 2014 г. по тематикам

Эти цифры демонстрируют переход к новой эре использования вычислительных методов в науке и технике. Вместе с тем, ученые не всегда представляют себе, как надо выбирать суперкомпьютер для задачи, которой они занимаются. Тем более, неясной остаётся архитектура требуемого компьютера. Этим вопросам посвящена настоящая работа. Рассматривается подход, позволяющий выявить, для каких задач нужны суперкомпьютеры экзафлопсного класса. Имеются в виду задачи, для решения которых требуется загрузка всего или значительной части суперкомпьютера, т.е. сотен тысяч или даже миллионов вычислительных ядер единовременно под одну задачу.

В разделе 1 кратко изложены основные принципы параллельных расчётов. Рассмотрены задачи классической молекулярной динамики и механики сплошных сред. Раздел 2 посвящен общей методологии многомасштабного атомистического моделирования — прорывного направления современной науки, как следует из рис. 1. Уравнения движения Ньютона и Шрёдингера, составляющие основу атомистического моделирования на микро- и наноуровнях, достаточно универсальны. Развивая различные подходы к их численному решению и их включению в многомасштабное моделирование, учёные создают аппарат, с помощью которого можно, опираясь на прогресс лучших суперкомпьютеров, решать новые задачи предсказательного моделирования в физике, химии, биологии и других естественных науках.

В разделах 3-8 рассмотрены применения изложенной общей методологии к таким вопросам, как модификация поверхности при облуче-

нии металла субпикосекундными лазерными импульсами (раздел 3), радиационно-индуцированные структурные изменения в облучённом топливе ядерных реакторов нового поколения на быстрых нейтронах (4), кинетика фазовых переходов в метастабильных жидкостях: кристаллизация при переохлаждении и вскипание при перегреве для расплавов металлов и воды (5), деформация материалов (6), многомасштабные модели для полимеров и нанокомпозитных материалов на их основе, обладающие высокой параллельной эффективностью (7), биомолекулы (8).

Основное внимание уделено многомасштабным моделям, а также предсказательному моделированию свойств и процессов. Рассмотрены проблемы: (а) квантово-механического описания на наноуровне и применения классической молекулярной динамики (МД) на микроуровне, (б) установления взаимосвязи моделирования на нано- и микроуровнях и их связи с кинетическим описанием и механикой сплошных сред на макроуровне, в особенности, в сильно неравновесных средах.

Рассмотренный подход обобщается на задачи механики сплошной среды в разделе 9.

В разделе 10 сравниваются эффективности распараллеливания для топологий тора и толстого дерева для трёх классов задач. Наряду с классической МД и квантовым моделированием, рассмотрены численные решения на сетках в задачах механики сплошной среды. В разделе 11 кратко излагается программа Министерства энергетики США (DOE) на 2014-2017 годы по созданию трёх новых систем преэк-зафлопсного класса; целью программы является удержание лидерства США в развитии суперкомпьютеров. Подчёркнуто, что DOE назначает заказчиками пользователей, которые формулируют тестовые приложения, по которым будет определяться достижение поставленных уровней производительностей.

В заключении даются ответы на вопросы, зачем и какие нужны суперкомпьютеры экзафлопсного класса в научных исследованиях. Их развитие предварительно анализировалось в [3], где также затронуты требования к архитектуре суперкомпьютеров с точки зрения масштабируемости задач молекулярного моделирования.

1. Принципы параллелизма

Как следует из рис. 1, большая часть задач, решаемых на лучших суперкомпьютерах, относится к расчётам атомистического моделирования и механики сплошных сред. Принципы распараллеливания в

Рис. 2. Схематичное представление локальности обменов данными для двумерной системы при атомистическом моделировании (слева) и в задачах механики сплошных сред (справа)

этих задачах достаточно близки друг к другу.

1.1. Локальность обменов данными

МД расчёты проводятся для миллионов и миллиардов частиц [4]. Для распараллеливания расчётный объём разделяется на подобласти (domain decomposition), каждая из которых «поручается» одному ядру. Ограничение масштабируемости алгоритмов молекулярной динамики определяется межпроцессорным обменом данными, что схематично проиллюстрировано для декомпозиции по пространству в двумерном случае на рис. 2 слева. В зависимости от геометрии системы задача разделяется на отдельные пространственные области, объёмы которых считаются на разных процессорах. На границе областей процессоры обмениваются данными для расчёта сил. Система слева разбита на М ячеек (не путать с периодическими граничными условиями), полное число частиц в системе N = + N2 + N3 + ... + Nm . Система справа разбита на М ячеек, полное число узлов N = N1 + N2 + N3 +... + Nm . Пространственная локальность взаимодействия обеспечивает высокую параллельную эффективность данного подхода.

Ограничение масштабируемости алгоритмов механики сплошных сред (МСС) также определяется межпроцессорным обменом данными,

Рис. 3. Слева—зависимость ускорения от числа ядер для различных размеров систем с потенциалом Леннард-Джонса (указано число частиц в системе). Справа—оптимальное соотношение числа атомов и ядер

что схематично проиллюстрировано на рис. 2 справа. При декомпозиции по пространству система разделяется на отдельные пространственные области, объёмы которых считаются на разных процессорах. На границе областей процессоры обмениваются данными для решения дифференциальных уравнений в частных производных в МСС.

1.2. Масштабируемость

При фиксированном числе частиц увеличение числа подобластей, т.е. увеличение числа используемых вычислительных ядер и уменьшения числа частиц на каждое ядро вначале даёт линейное ускорение расчётов, а потом проходит через максимум (рис. 3, слева), когда межъядерный обмен становится затратным по времени. Таким образом, для каждого числа вычислительных ядер существует число частиц, оптимальное для расчётов.

При увеличении числа ядер можно проводить расчёты для большего число частиц (рис. 3, справа) и, соответственно, расширяется круг явлений и процессов, доступных для исследования. Такой подход предложен в [5], где он проиллюстрирован на примере пластической деформации и разрушения при высокоскоростном деформировании. Набор других примеров приведён в данной работе. Отметим, что для систем с короткодействующими потенциалами типа ЕАМ время

расчёта пропорционально N, поэтому соответствующее увеличение М приводит к тому, что время расчёта остаётся неизменным с ростом

N.

Зависимости, аналогичные 3, можно построить и для задач механики сплошных сред.

2. Стратегия развития МД modeling&simulation 2.1. Основания МД modeling & simulation

Задачи атомистического моделирования требуют привлечения нескольких составляющих для своего решения, помимо обязательного сравнения с экспериментом. Стандартный для англоязычной литературы термин «modeling & simulation» обычно переводится на русский как «моделирование», что искажает смысл термина.

Simulation означает проведение вычислений. Выявление, анализ и решение проблем, возникающих при увеличении числа ядер М, включая оптимальный выбор суперкомпьютера, относятся к области Computer Science. Будем затрагивать эти проблемы ниже.

Но прежде чем начать расчёты, надо провести modeling, т.е. сформулировать постановку задачи и создать модель вещества, которая будет затем изучаться численно. К модели относятся уравнения, которые её описывают, потенциалы межчастичного взаимодействия, выбор числа частиц N, начальные и граничные условия и т.п. Это вопросы теоретической физики, как и построение многомасштабных моделей, позволивших бы выйти за пределы временных и пространственных масштабов, доступных атомистическому моделированию. Многие из этих вопросов специфичны и рассматриваются для каждого из примеров.

Способы оценки значения N достаточно универсальны. Выбор его определяется масштабами пространственных и временных корреляций, характерных для поставленной задачи. В системе существует иерархия корреляций гс\ < гс2 < гсз < ..., которой соответствует иерархия N\ < N2 < N3 < ... , где Ni = пг3. Здесь п концентрация частиц, гс область расстояний, которая исследуется. Иными словами, можно сказать, что, выбирая то или иное значение N, мы тем самым обрываем ряд корреляций, которые можно будет исследовать в данном МД-расчёте. Выбирая N = nL3, мы также ограничиваем длины волн X < L равновесных флуктуаций, т.е. фиксируем диапазон волновых векторов, для которого можно будет рассчитать дисперсию колебаний

плотности: фононов в конденсированных средах, плазменных волн в неидеальной плазме, колебаний биомолекул и т.п. Подобным же образом выбор N ограничивает область исследуемых характеристик таких кооперативных явлений, как нуклеация, образование дислокаций и трещин и др.

Существует также иерархия времён корреляций тс\ < тС2 < тсз < ... Выбор Ь обрывает этот ряд, в частности, двумя неравенствами: 6ПтСг < Ь2, где И — коэффициент диффузии, а8тС1 < Ь, где а8 — скорость звука.

Свои варианты требований возникают при моделировании поверхностей, фазовых равновесий и т.п. При переходе к исследованию релаксационных процессов следует учитывать возможность появления дополнительных пространственных и временных характерных масштабов и соответствующих требований на выбор N.

Общий вывод заключается в том, что выбор размера системы (числа частиц) ограничивает предельные значения гс, тс, А, характерных неоднородностей и т.п., и, таким образом, ограничивается круг явлений и процессов, которые можно исследовать. И, наоборот, требования на выбор числа частиц определяются рассматриваемым физическим явлением и структурой.

Физически обоснованный выбор числа частиц в сочетании с тестированием эффективности распараллеливания (см. выше) позволяет установить оптимальное соотношение «количество частиц-число вычислительных ядер» и выполнить исследование выбранного свойства, явления и процесса именно в рамках этого соотношения. Естественно, систему можно исследовать и при меньшем числе ядер. Соответственно увеличится время расчёта.

2.2. Многомасштабные подходы

Переход к кинетическим подходам, механике сплошных сред и др. позволяет выйти за пределы временных и пространственных масштабов, доступных атомистическому моделированию. При этом возникают теоретико-физические проблемы связи между моделями на разных масштабах. Последовательность взаимосвязанных подходов выстраивается от квантовых наномасштабов до макромасштабов для решения конкретных задач (рис. 4). Возможно, первый пример такого подхода, включивший кинетику и классическую МД дан в [6].

механика сплошной среды

квантовые "ab initio" подходы

Рис. 4. Ступени многомасштабного подхода и их взаимосвязи

3. Лазерное наноструктурирование поверхности материала

Рассмотрим эту стратегию на примере моделирования лазерного наноструктурирования поверхности материала. Такой процесс имеет множество потенциальных технологических применений в микрообработке и создании поверхностных наноструктур. В то же время механизм наноструктурирования лазерным импульсом остаётся не вполне ясным.

В последнее время стало появляться значительное число экспериментальных работ, акцентирующих внимание на объёмном характере процесса модификации поверхности при лазерном облучении [7—11]. Однако расчёты, проводимые разными авторами, остаются или полностью одномерными (гидродинамическое моделирование) или квазиодномерными (атомистическое моделирование), когда только направление вглубь материала имеет микронный размер, а два других направления имеют размеры в несколько нанометров и сшиваются через периодические граничные условия [12-20]. Поэтому целесообразным является переход к полномасштабному объёмному атомистическому моделированию процесса модификации, что является логическим развитием модели, но требует достаточно больших вычислительных ресурсов. Стоит отметить, что менее затратное гидродинамическое (ГД) моделирование также может быть развито до объёмного моделирования, но для этого необходимо будет решить ряд принципиальных задач и, в частности, научиться корректно моделировать гидродинамику поверхностных волн. Однако даже при создании трёхмерной ГД-модели, точность её будет значительно уступать атомистическому моделированию, так как при лазерном наноструктурировании большую роль играют такие процесса как плавление, разрушение и нуклеация, т.е. процессы, учёт которых в ГД-подходе вызывает особую трудность. С другой стороны, в атомистическом моделирование все эти процессы описываются без привлечения каких-либо дополнительных приближений.

В подавляющем большинстве работ, посвященных модификации поверхности лазерным импульсом, основной характеристикой импульса является поглощенный флюенс энергии, усреднённый по освещенной поверхности. Однако в некоторых работах [21,22] указывается на тот факт, что более удобными величинами для анализа являются полная поглощённая энергия импульса ЕаЬв и поглощённый флюенс в центре лазерного пятна ^о. Кроме того, сравнение теории и эксперимента следует проводить с учетом распределения энергии по всей освещенной поверхности. Если принять, что распределение флюенса Р(г) имеет гауссову форму, то связь между Еаь3 и можно записать

следующим образом:

+^

(1) ЕаЪа = J Д(г)-2-кгйг = J ехр[—г2/В2]-2-кгё,г = Р0-кК2,

оо где К —параметр распределения Гаусса. Стоит отметить, что в формуле 1 величина Д не соответствует радиусу модификации поверхности или какой-либо величине связанной с процессами на поверхности, а является характеристикой только лазерного импульса.

Остановимся более детально на модели, используемой в атомистическом моделировании для описания лазерного наноструктуирования. При взаимодействии короткого лазерного импульса с веществом происходит сильный нагрев, в первую очередь, электронной подсистемы. Характерное время установления равновесия между электронами и ионами соизмеримо со временем самой модификации вещества и временами кинетических процессов происходящих при этом (тепло-перенос, фазовые переходы, возникновение ударных волн и т.д.) Таким образом начальная стадия является двухтемпературной, когда температура электронов на порядок превышает температуру ионов. Для моделирования процесса лазерной модификации поверхности в цикле работ [14,16,17,20] авторами развивается атомистическая модель двухтемпературного состояния. В данной модели используется приближение сплошной среды для электронной подсистемы и молекулярно-динамическое моделирования для ионной подсистемы. Таким образом, совместно решается система уравнений Ньютона для ионов и кинетическое уравнение теплопроводности для электронной подсистемы. Одной из особенностей развиваемой модели является учёт влияния электронного давления на динамику ионов.

На рис. 5 различные приближения атомистического моделирования процесса модификации поверхности схематично сопоставлены с

Ю10

109

108

107

10е

1Г15

101 ю2 ю3 104 105 ю6

Рис. 5. Сопоставление числа вычислительных ячеек М и количества атомов N с различными приближениями

числом вычислительных ячеек (фактически с числом вычислительных ячеек), требуемых для их реализации. Приближением, требуемым меньше всего вычислительных ресурсов, является квазиодномерный расчёт, когда вычислительная ячейка имеет размер около микрометра только в одном направлении (вглубь вещества), а два других направления имеют размеры в несколько нанометров и сшиваются через периодические граничные условия. Именно на таком типе задач отрабатывается и тестируется теоретическая основа модели. Стоит отметить, что необходимость микронного размера в направлении вглубь вещества обусловлена ударно-волновой природой лазерной абляции вещества и тем, что фазовые и структурные превращения происходят в поверхностном слое толщиной в несколько сотен нанометров.

Вторым по вычислительным затратам приближением является также квазиодномерный расчёт, но уже с размерами в несколько десятком нанометров по двум другим направлениям. Основным преимуществом такого вида расчёта перед первым, является возможность более корректно описывать процесс нуклеации полостей при лазерной абляции. В таком приближении можно исследовать более детально механизм разрушения вещества. На рисунке 6(а) показаны зависимости глубины расплава/абляции от флюенса ^о для алюминия при облучении фемтосекундным импульсом, полученные в

О 100 200 _

(а) зависимость глубины от флю- (Ъ) оформировавшиеся полости

енса для алюминия

Рис. 6. Нуклеация полостей при лазерной абляции

разных работах. Темные и белые квадраты—модификация из эксперимента [22] и ГД-моделирования [12]; темный круг—ГД-расчёт [13]; сплошная и штрих-пунктирная линии — глубина расплава и абляции из МД-моделирования [22] Все рассчитанные зависимости вычислены в одномерном приближении (ГД-модель) или квазиодномерном приближении (МД-моделирование).

Третьим приближением является квазидвумерный расчёт, когда одно из направлений вдоль облучаемой поверхности имеет размер в несколько сотен нанометров. Такое приближение позволяет учитывать профиль энерговклада лазерного импульса. Стоит отметить, что в первых двух приближениях подразумевалось, что облучение происходит по всей поверхности с одинаковой интенсивностью, что конечно не соответствует действительности. Квазидвумерное приближение позволяет ввести распределение флюенса по поверхности Р (г), но в двухмерной геометрии. И хотя реальный диаметр лазерного пятна в эксперименте составляет несколько микрометров, однако уже такое приближение является существенным достижением по сравнению с первыми двумя. Для непосредственного сравнения с экспериментом нужно использовать размерный анализ и теорию подобия, чтобы экстраполировать результаты моделирования до реального размера распределения интенсивности по поверхности.

Четвёртое приближение является также квазидвумерным, но уже с микронным размером в двух направлениях. Такая модель позволяет рассмотреть лазерное наноструктурирование за счёт плавления вещества. По результатам проведённых расчётов было установлено,

20

10

30

40

(а) размер зоны модификации

(Ь) размер зоны абляции

Рис. 7. Зависимости от полной энергии импульса Е

что при небольших энерговкладах модификация поверхности может происходить не только за счёт лазерной абляции, но и за счёт плавления и расплескивания металла (прямая аналогия с капиллярными волнами на поверхности). Данный процесс хорошо демонстрирует, что при переходе к моделированию на больших масштабах существует возможность обнаружить новые коллективные явления атомов, недоступные для моделирования на меньших масштабах. Выполненные расчёты хорошо согласуются с недавними экспериментами (см. например [9, 17]), где обнаружена модификация поверхности при низких энерговкладах в отсутствии абляции. Нужно отметить, что процесс модификации поверхности при использовании рентгеновских импульсов [9,17] может существенно отличаться от случая, когда используются оптические импульсы [7,10,11]. Это обусловлено тем, что при модификации поверхности вследствие плавления большую роль играют локальные градиенты температуры/давления вдоль поверхности, которые для рентгеновских импульсов значительно выше, чем для оптических.

Рисунок 6(Ь) иллюстрирует другое интересное явление, которое возможно смоделировать в квазидвухмерном приближении—формирование нанополостей при распухании вещества, как первая стадия абляции. Рисунок взят из работы [10] и соответствует экспериментальным наблюдениям. Механизм этого явления пока исследован не полностью и описывается в основном на основе анализа экспериментальных фактов [7,10].

Моделирование в третьем и четвертом приближениях подтвердило

высказанную ранее гипотезу, что размер зоны наноструктурирования (т.е. области поверхностной модификации с глубиной от нескольких нанометров) определяется плавлением. Таким образом можно сформулировать критерий, позволяющий рассчитать диаметр зоны модификации во всем диапазоне энерговкладов. Граница зоны модификации поверхности, облучаемой лазерным импульсом, определяется той точкой пространства, где локальный поглощенный флюенс соответствует пороговому флюенсу плавления. Кроме того, аналогичным образом можно получить оценку размера области абляции (или распухания, как первого этапа абляции [7,9,10]), которая соответствует точке на поверхности, где поглощенный флюенс равен пороговому флюенсу для абляции. Данные критерии для радиуса наноструктуирования гт и радиуса абляции/распухания га можно записать в следующем виде:

(2) г2т = Д2 1п(^о/^те„) = Д2 1п(аЕ/кК2ЕтеН),

(3) г2 = Д2 ВД/Щ = Д2 1п(аЕ/пН2ЕаЫ),

где а — коэффициент поглощения, Е —полная энергия импульса, их произведение даёт Еаьв = аЕ. На рисунках 7(а) и 7(Ь) показаны зависимости гт(Е) и га(Е) для алюминия, рассчитанные из формул 2 и 3 (линии) с учетом характеристик импульсов в работах [7, 17, 22] (символы). 1 и 2 соответствуют алюминию и золоту. Стоит отметить, что входящие в формулы пороговые флюенсы плавления и абляции РтеИ и Еаы можно рассчитать в квазиодномерном расчёте, однако справедливость самих формул можно проверить только в двух- или трехмерных расчётах.

Пятое приближение подразумевает проведение полностью трёхмерного расчёта, на масштабах сопоставимых с экспериментом. Формулы 2 и 3 дают возможность оценить требуемые размеры моделируемых систем для корректного описания процесса модификации поверхности. Несмотря на то, что все остальные приближения могут дать много полезной информации о процессе лазерного нанострукту-рирования, полностью описать динамику этого процесса возможно только в полномасштабном расчёте с микронными размерами во всех направлениях. Данный тип расчёта пока не был проведён, однако прогресс в вычислительных ресурсах, который наблюдается в последние годы, позволяет говорить о принципиальной возможности такого моделирования [22-24]. Проведение такого расчёта позволит напрямую сравнить эксперимент и атомистическое моделирование, опирающееся только на теорию из первых принципов. Такое сравнение важно и само

по себе, и как возможность доказать или опровергнуть все предположения и гипотезы, который были выдвинуты при моделировании на меньших масштабах. Кроме того, только в этом приближении возможно описать образование различных наноструктур, формирующихся при взаимодействии лазерного импульса с поверхностью [8,11].

4. Радиационные повреждения в ядерных топливах

В настоящее время наблюдается рост интереса к обоснованию эффективности и безопасности атомной энергетики. В частности, это привело к тому, что перед радиационным материаловедением была поставлена задача о создании методики точного прогнозирования поведения ядерного топлива в условиях эксплуатации. Данная задача допускает несколько подходов к её решению, но наиболее перспективным представляется многомасштабный подход, когда методами моделирования и теоретической физики совместно решаются подзадачи на различных временных и пространственных масштабах [25,26]. Кооперация таких методов (квантовые расчёты, атомистическое моделирование, метод Монте-Карло, метод кинетических уравнений и приближение сплошной среды) может позволить предсказывать/объяснить поведение ядерных материалов практически без привлечения экспериментальных данных, которые в этом случае могут быть использованы для верификации всей модели. На данный момент такая многомасштабная модель только разрабатывается, однако её развитие уже привело к существенным достижениям в методах расчёта радиационных повреждений на различных масштабах.

Стоит отметить два подхода к увеличению масштаба при моделировании задач радиационного материаловедения. На рисунках 8-10(Ь) показано, какие задачи возможно решить в рамках одного только атомистического моделирования: расчёт свойств дефектов кристаллической решетки; образование дислокационных петель при облучении поверхности ионами; генерация дефектов в столкновительных каскадах; расчёты подвижности дислокационных петель и пор, их взаимодействий; формирование дефектов при пролёте осколков деления в объёме и на поверхности материала на микронных масштабах (на данный момент подобные расчёты ещё не проведены). Фрагменты рисунков взяты из [27-29]. Рисунки демонстрируют многомасштабный подход, как совокупность различных моделей, где выходные параметры на одном уровне являются входными параметрами для моделей более высокого уровня. В радиационном материаловедение

_I_I_I_I_I_1

10° ю1 ю2 ю3 ю4 ю5 ю6

Рис. 8. Расширение круга задач при увеличении числа ядер М в расчётах радиационных повреждений

оба подхода к увеличению масштаба активно развиваются и дополняют/корректируют друг друга.

При отсутствии необходимых экспериментальных данных изучение механизмов и вычисление микроскопических параметров моделей образования и накопления радиационных дефектов, по-видимому, возможно лишь в рамках методов атомистического моделирования: молекулярной динамики, Монте-Карло, функционала электронной плотности. Для уточнения полученных таким образом количественных характеристик можно использовать данные сравнительно маломасштабных экспериментов, интерпретация которых чрезвычайно сложна при отсутствии представлений о механизмах элементарных стадий. Например, таковы эксперименты по отжигу дефектов после облучения и измерению коэффициентов самодиффузии ионов. Все это увеличивает предсказательную способность механистических моделей и расширяет область их применимости за рамки небольшого количества экспериментов, на базе которых эти модели разрабатывались.

Особую роль в атомистическом моделировании радиационных повреждений играют межатомные потенциалы. В ряде работ показано, что большинство потенциалов некорректно описывают поведение радиационных дефектов в веществе [27]. Это объясняется тем, что большинство потенциалов (в первую очередь это относиться к полуэмпирическим потенциалам) создаются с использованием равновесных

10 4/Т, 1/К

(a) зависимость коэффициентов диффузии дефектов в урановой подрешётки UO2 от температуры

Vf /

/7° /: ....

4 62" / / 4h /ж

у / А /

С. Baggeretal. (1994) ф о Ф 35.5 кВт/м (62h) 4 4 4 42 кВт/м (62h) Ж Ж Ж 39 кВт/м (4h)

1400 1600 1800 2000

(Ъ) сравнение измеренных (маркеры) и рассчитанных (кривые) выходов газа при различных временах выдержки в экспериментах с переходными режимами с повышением мощности

Рис. 9. Расчёт механизмов и коэффициентов диффузии точечных дефектов

характеристик вещества: постоянная решетки, упругие константы, коэффициент Грюнайсена и др. Однако все эти характеристики описывают вещество в условиях близких к нормальным, когда межатомные расстояния не сильно отличаются от равновесных. С другой стороны межатомные расстояния в непосредственной близости к дефектам кристаллической решетки значительно меньше равновесного. Поэтому при создании потенциалов для задач радиационного материаловедения особое внимание нужно уделять описанию межатомных сил на малых расстояниях между атомами. Одним из наиболее успешных способов создания межатомных потенциалов является метод согласования по силам («force-matching») [27, 30, 31]. Идея метода заключается в конструировании потенциала, основываясь только на расчётах из первых принципов, которые соответствуют наименьшему масштабу на рисунке 8 (стоит отметить, что квантовые расчёты могут быть очень затратные, однако для создание потенциала нужно проводить большое количество небольших квантовых расчётов с системами порядка 100 атомов).

Атомистическое моделирование позволяет исследовать такие процессы, как столкновительные каскады, подвижность и взаимодействие дислокационных петель, формирование радиационных треков оскол-

(я) размер периодической структуры дислокаций от концентрации дислокаций в и02

(b) сформировавшиеся газовые пузыри в UO2

Рис. 10.

ков деления (уровни 2-5 на рис. 8. Существует большая область задач, которые возможно решить только такими методами. Однако задача описания ядерного материала на временах и масштабах эксплуатации требует привлечения приближенных моделей более высокого уровня. Рассмотрим это на примере диоксида урана (UO2).

Расчёт механизмов и коэффициентов диффузии точечных дефектов является одним из базовых процессов радиационного повреждения, доступных для моделирования в рамках классической МД. На рисунке 9(a) показаны зависимость коэффициентов диффузии точечных дефектов от температуры: 1 и 3 — Du si а и Du vac, полученные на основе экспериментальных данных [32]; 2, 4 и 5 — Du sia, Duo divac и Duu divac, рассчитаные МД в [33]. Видно, что результаты хорошо согласуются с доступными экспериментальными данными [32] и описываются уравнением Аррениуса:

(4) D = Do exp(-Ет/кТ),

где Ет — энергия миграции. Не все коэффициенты диффузии могут быть найдены из анализа экспериментальных данных и поэтому МД является единственным методом их получения.

Рассчитанные коэффициенты диффузии, энергии образования, радиусы рекомбинации, коэффициенты фононного трения и другие рассчитанные характеристики используются в кинетических моделях [26] и в дислокационной динамике [34]. Обе эти модели являются менее точными чем МД, однако способны описывать поведение вещества на макроуровне. На рисунке 9(b) сравниваются измеренный

(маркеры) и рассчитанный (кривые) выход газа при различных временах выдержки в экспериментах с переходными режимами с повышением мощности [26]. На рисунке 10(а) показан размер периодической структуры дислокаций от их концентрации в и02: линия — результат расчёта дислокационной динамикой [34]; заштрихованная область — оценки из экспериментальной работы [35].

Данные модели уже способны описывать такие процессы как накопление и структурирование дислокаций, образование газовых пузырей из продуктов деления (10(Ь) [36]), распухание и охрупчивание вещества и др. Все эти процессы имеют большое значение в ядерной инженерии.

Важно также отметить, что сейчас в ядерной энергетике наблюдается начало революции связанной с переходом от реакторов на тепловых нейтронов к реакторам на быстрых нейтронах. В связи с этим происходит введение в эксплуатацию новых видов ядерных топлив и конструкционных материалов, радиационные свойства которых ещё достаточно плохо исследованы. В связи с этим развитие описанных выше методов для новых веществ (от создания потенциалов до составления новых кинетических уравнений) является крайне актуальной задачей.

5. Нуклеация и кинетика фазовых переходов

Разрушение материалов при интенсивных импульсных воздействиях протекает через образование и распад метастабильных фазовых состояний — например, перегретой или переохлаждённой жидкости, растянутого кристалла или жидкости. Распад таких состояний происходит через образование зародышей новой фазы — нуклеацию. В большинстве моделей распада метастабильного состояния используется классическая теория нуклеации (КТН), разработанная в 1920-1950-е гг. в предположении слабого отличия свойств зародыша от свойств объёмной среды. В ряде работ указывается на то, что это предположение может не выполняться [37-39], вследствие чего КТН иногда даёт катастрофическое (5-10 порядков величины) несоответствие результатам экспериментов или прямого атомистического моделирования.

Метод МД позволяет вычислить частоту нуклеации, не привлекая дополнительных сведений о структуре и свойствах зародыша, поскольку они получаются автоматически за счёт прямого решения уравнений движения в атомной системе. Таким образом, на основе МД расчётов возможно проводить определение параметров различных

10° 101 102 103 104 105 106

N

I_I_I_I_I_I_I_I

Ю3 104 Ю5 106 ю7 ю8 ю9 ю10

Рис. 11. Расширение круга доступных явлений при увеличении числа ядер для расчётов нуклеации полостей в растянутой жидкости. На врезке: фазовая диаграмма Леннард-Джонсовской жидкости

теорий нуклеации, определять границы их применимости, а также исследовать кинетику зародышеобразования в тех процессах, для описания которых не создано надёжной теории.

МД моделирование фазового перехода в метастабильной фазе рассмотрим на примере спонтанного вскипания жидкости при перегреве или растяжении. Явления, доступные для моделирования с различным числом частиц, показаны на рис. 11 и сопоставлены с числом вычислительных ядер, необходимых для решения задачи. Выбор размера системы в МД-моделировании определяется характерными временными и пространственными масштабами решаемой задачи [40]. Для моделирования фазового перехода в качестве пространственных масштабов могут выступать

а) размер зародыша новой фазы;

б) область влияния растущего зародыша на окружающее вещество;

в) расстояние между зародышами.

В качестве характерных времен обычно представляют интерес время ожидания первого зародыша и время, необходимое на полное протекание фазового перехода (перехода всей моделируемой системы в устойчивую фазу).

Наименее трудоёмкой задачей является наблюдение нуклеации единичной полости в заданном объёме (1 на рис. 11). Пространственный масштаб задачи определяется размером критического зародыша при заданной степени метастабильности, а временной — временем ожидания критического зародыша. Сложность задачи, таким образом, растёт при движении от границы устойчивости фазы к кривой равновесия в силу роста размера критического зародыша и резкого увеличения времени жизни метастабильной фазы [37,40-42].

Второй этап моделирования—расчёт частоты нуклеации. Она является динамической характеристикой системы, и для её расчёта требуется усреднение времени ожидания зародыша по ансамблю МД запусков для систем, находящихся в одном и том же термодинамическом состоянии (2 на рис. 11). Эта задача допускает два способа распараллеливания [40-42]. Во-первых, каждый из расчётов в ансамбле может быть распараллелен при помощи декомпозиции по пространству. Во-вторых, для расчётов средних величин по ансамблю можно применить «декомпозицию по ансамблю», т.е. параллельный расчёт нескольких независимых МД траекторий на различных узлах многоядерной системы. Отметим, что в силу независимости МД траекторий в ансамбле при втором виде распараллеливания достигается идеальная масштабируемость из-за отсутствия межпроцессорного взаимодействия.

Третьей по вычислительной сложности задачей является исследование роста зародыша новой фазы (3 на рис. 11). Пространственный масштаб здесь определяется влиянием роста полости на параметры среды. Динамика роста полости в жидкости в кубической ячейке с ребром Ь может быть исследована лишь на временах, меньших ^тах = Ь/сд, где с3 — скорость звука в жидкости, т.к. затем на рост полости существенно влияют выбранные граничные условия.

Переход на более крупные масштабы расчётов позволяет расширить диапазон доступных для моделирования степеней метаста-бильности за счет сокращения времени ожидания первого зародыша при увеличении объема системы, а также наблюдать качественные

35 40 45 50 55 (а) сравнение результатов атомистического моделирования с экспериментом

(Ъ) зависимость откольной прочности жидкого гексана от скорости растяжения

Рис. 12. Расчёты нуклеации полостей в растянутой жидкости

изменения кинетики зародышеобразования с уменьшением степени ме-тастабильности. К примеру, при высоких степенях метастабильности фазовый переход протекает как коллективный процесс, охватывающий весь объём вещества, в то время как при умеренных степенях метастабильности происходит переход к «классической» нуклеации с образованием компактного зародыша [43-45].

Особенность прямых МД расчётов состоит в том, что объемная концентрация любых неоднородностей (зародыши новой фазы, дефекты кристаллической решетки, примеси и т. д.) при использовании периодических граничных условий ограничена снизу величиной Cmin = 1/Vmd , где Vmd — объём ячейки моделирования. Поэтому на этапе роста новой фазы, где важно взаимное влияние зародышей, может проявляться размерный эффект. Четвёртый масштабный уровень соответствует переходу к режиму, в котором концентрация зародышей определяется характеристиками физического процесса, а не лимитируется объёмом расчётной области. Он достигается, когда характерный размер МД ячейки превышает среднее расстояние между зародышами новой фазы. Тогда происходит одновременное зарождение и рост множества (102 — 103) полостей в объёме расчётной ячейки (4 на рис. 11). Такие расчёты позволяют, к примеру, рассчитать предельно достижимое напряжение в микрообъёме жидкости при его однородном нагружении [37].

Пятый масштабный уровень может быть достигнут на мощнейших на данный момент суперкомпьютерах. Прямое МД моделирование объ-

ёма 1 мкм3 и более уже позволяет исследовать с атомным разрешением процессы в системе с неоднородно распределёнными термодинамическими характеристиками: эффекты прохождения ударной волны, её отражения от свободной поверхности и формирования откольной пластины (5 на рис. 11). Результаты расчётов с 109 и более атомов в некоторых случаях могут быть непосредственно сопоставлены с экспериментом. К примеру, в работе [46] результаты МД расчётов напрямую сравниваются с экспериментальными измерениями частоты нуклеации в пересыщенных парах аргона в сопле Лаваля [47] (кружки и ромбы на рис. 12(a) соответственно). Отметим, что подобные расчёты предъявляют высокие требования не только к вычислительной системе, но и к дисковому хранилищу: объём выходных данных такого расчёта составляет до десятков и даже сотен терабайт.

Для перехода к кинетике фазового перехода на мезо- и макромасштабах по данным МД расчётов строятся кинетические модели фазового перехода. На основе рассчитанных частот нуклеации и скорости роста зародышей строятся аппроксимационные зависимости этих скоростей от давления и температуры. На основе этих зависимостей с помощью кинетической модели типа «нуклеация и рост» (NAG— «nucleation and growth») рассчитывается суммарный объём полостей и их распределение по размерам в произвольный момент времени при заданной истории нагружения [37,48]. Такой подход позволяет рассчитать откольную прочность — предел достигаемых в жидкости напряжений, а также время жизни жидкости до разрыва. На рис. 12(b) показан пример расчёта откольной прочности жидкого гексана по результатам МД моделирования. Сопоставлены многомасштабные модели «нуклеация и рост полостей» (1) и «нуклеация полостей без роста» (2), критерий Грэди [49] (3), экспериментальные результаты [50] (4), результаты прямого МД моделирования (5), теоретический предел прочности (6).

Введение кинетической модели фазового перехода в расчёт методом механики сплошной среды позволяет более точно рассчитывать результат импульсных механических и тепловых воздействий на вещество, в частности, рассчитывать скорость свободной поверхности и профили давления в образцах при ударно-волновом воздействии, предсказать микроструктуру откольной пластины, воздействие схло-пывания полостей (кавитации) на находящиеся в жидкости тела. В [51] приведены первые результаты подобного расчёта для откола в жидком алюминии. В [52] приводятся результаты рекордного гидродинамического расчёта схлопывания 15000 кавитационных полостей в воде.

Отметим, что параметры нуклеации и роста зародышей для модели фазового перехода, а также уравнение состояния и коэффициенты переноса для модели сплошной среды могут быть рассчитаны методами классической или квантовой МД [37,48, 53]. Таким образом, возможно построение моделей поведения вещества при импульсном воздействии без необходимости введения свободных параметров.

Построение многомасштабных моделей для других типов фазовых переходов проводится по той же общей схеме. При этом могут возникать некоторые особенности, связанные со спецификой данного фазового перехода. Так, кинетика роста кристаллического зародыша сложнее, чем для полости в жидкости, из-за асимметрии скорости роста вдоль различных кристаллических направлений. Также при высокоскоростном охлаждении жидкостей может происходить как кристаллизация, так и переход в стекло, в котором не происходит дальнейшего формирования кристаллических зародышей. Эти эффекты исследуются отдельно при помощи МД моделирования и также должны быть включены в кинетическую модель.

6. Деформация материалов

Деформация материалов — это один из самых распространенных макроскопических процессов, с которым мы сталкиваемся в обыденных условиях, например, забивая гвозди. Несмотря на распространенность явления, многие модели, описывающие деформацию, остаются феноменологическими или полуфеноменологическими, опираясь на множество проведенных экспериментов. Недостаток таких моделей в том, что они хорошо предсказывают поведение материала в условиях, близких к области их подбора, но могут давать существенные ошибки в свойствах материала за этой областью. Причина заключается в отсутствии адекватной теоретической модели, лежащей в основе моделей.

В последние годы широко развиваются многомасштабные подходы, в основе которых лежит построение многомасштабной модели поведения материала с атомного уровня. Такой подход успешно применяется и для построения моделей деформации материала. Суть его состоит в построении микроскопической модели деформации материала на основе атомистических расчётов, которая затем используется для расчёта деформаций на макроскопическом уровне.

Рис. 13. Расширение круга доступных явлений, необходимых для исследования деформации материалов, с увеличением числа ядер.

В качестве примера рассмотрим модели пластической деформации металлов и сплавов [54-64]. Объектом исследования в таких системах являются дислокации — основные переносчики пластической деформации. В качестве микроскопической модели используют дислокационную динамику, описывающую поведения ансамбля дислокаций в целом. Для замыкания уравнений необходимы константы, характеризующие поведение отдельных дислокаций. Такие константы получают с помощью метода молекулярной динамики. Рассмотрим различные молекулярно-динамические модели, характеризующиеся различным уровнем вычислительной сложности, от более простых к сложным. Конечно, невозможно отобразить полную картину всех молекулярно-динамических расчётов, поэтому будут выделены основные модели, качественно отличающие друг от друга.

Первым уровнем МД моделей является структура монокристалла, подвергающаяся деформации сдвига. Такая модель не требует больших размеров расчётных ячеек и позволяет исследовать процессы зарождения дислокаций в объеме при сдвиговой деформации [65,66] (1 на рис.13). Этот процесс играет существенную роль в условиях очень коротких импульсов, когда других процессов зарождения и размножения недостаточно для обеспечения достаточной скорости пластической деформации. С использованием подобных моделей

Температура,

коэффициент торможения дислокаций в алюминии от температуры

(Ь) откольная прочность алюминия от скорости деформирования

Рис. 14. Уровни 2-3 исследования деформации материалов

исследуются процессы зарождения дефектов с поверхности [67], являющиеся актуальными для деформации тонких капилляров.

Вторым уровнем является модель поведения одиночной дислокации под действием приложенных напряжений [68-72] (2 на рис.13). Такие расчёты требуют значительно больших моделируемых систем, поскольку из-за дальнодействующего упругого поля дислокации она будет чувствовать сама себя в маленькой системе. Или необходимо учесть более-менее реалистичную структуру материала. Моделирование движения дислокации позволяет определить их подвижность в материалах при различных уровнях напряжений и температурах. Для верификации расчётов [71,72] проводится сопоставление с имеющими экспериментальными данными [73, 74] на рис. 14(а)). С помощью таких расчётов удалось численно объяснить «аномальную» зависимость предела текучести от температуры [75,76], наблюдающуюся в эксперименте [78, ?Базогепоу2003].

Третьим уровнем является учет внутренней микроструктуры материалов (3, 4 на рис. 13). Почти все конструкционные материалы не являются монокристаллическими — они обладают зёренной и дислокационной структурой, а также в них вводят специальные упрочняющие добавки. Учет такой сложной микроструктуры накладывает естественные ограничения на размеры расчётных моделей, связанные с размерами кристаллитов [79,80] или концентрацией и размерами упрочняющих выделений [64, 79, 81-83]. Примером использования таких моделей являются расчёты откольной прочности материала

предел текучести от размера зерна нанокристаллической меди

(Ь) плотность дислокаций в алюминии от давления в ударной волне

Рис. 15. Уровни 4-5 исследования деформации материалов

с дислокациями на рис. 14(Ь) (1 - эксперимент [?Сао2007], 2—МД расчёт [85]), и предела текучести нанокристаллических материалов на рис. 15(а) (1 —эксперимент [86]; 2,3—МД расчёты [79,80]).

Последним пунктом идут прямые молекулярно-динамические расчёты (5 на рис. 13). Прямые молекулярно-динамические расчёты являются основным способом моделирования явления в целом, включая все контролирующие процессы. Но, хотя вычислительные мощности с каждым годом возрастают, характерные масштабы пространства и времени в таких расчётах остаются небольшими. Во многих случаях с помощью таких расчётов удается ухватить качественно картину явления, коррелированность протекающих вместе явлений. Например, в расчётах по зарождению дислокаций в условиях ударно-волнового нагружения [87-89] на рис. 15(Ь)( 1 — эксперимент [90], 2 —МД расчёт [87]). В последние годы делаются попытки учесть также микроструктуру материала [91,92].

Таким образом, увеличение суперкомпьютерных мощностей приводит к расширению круга решаемых задач, при этом зачастую к качественно другим явлениям. Так моделирование деформации материалов начиналось с рассмотрения монокристаллических материалов небольших размеров на временах порядка пикосекунд, тогда как сейчас доступны расчёты материалов с микроструктурой и в сложных деформационных процессах.

7. Полимеры

В последнее десятилетие в индустрии конструкционных материалов наблюдается заметный рост интереса к сфере полимерных нанокомпозитов. В первую очередь это обусловлено их необычными механическими свойствами при сравнительно небольшой плотности и высокой коррозийной стойкости. В качестве наполнителя в полимерной матрице могут выступать углеродные волокна, нанотрубки, фуллерены, металлические или иные наночастицы.

Свойства полимерных нанокомпозитов существенным и не вполне очевидным образом зависят от целого ряда параметров: типа, концентрации, ориентации, упругих свойств наполнителя, пластических и термических свойств самой полимерной матрицы. Описание подобной многопараметрической задачи на микроуровне с использованием сугубо экспериментальных методов крайне затруднительно и пока во многом носит эмпирический характер. Свойства полимерных цепей, находящихся в контакте с поверхностью наполнителя, неизбежно отличаются от свойств чистого полимера. В случае нановключений, ввиду большой величины площади их эффективной поверхности, уже при малых концентрациях (порядка нескольких массовых процентов), область интерфейса может охватить существенную часть полимерной матрицы. При этом на свойства материала влияет множество параметров— форма и размер наночастиц, распределение частиц в полимерной матрице, тип и сила взаимодействия полимерной матрицы с наноча-стицами, температурный режим, запутывание полимерных цепочек и т.д. [93]. Наночастицы оказывают существенное влияние на кинетику процессов плавления и кристаллизации полимеров [94] в ряде случаев изменяя температуру кристаллизации в пределах нескольких десятков градусов [95,96]. Повышенная концентрация центров нуклеации вблизи поверхности УНТ вместе с ее влиянием на ориентацию роста кристаллитов может приводить к формированию вокруг нанотрубки слоя высокоупорядоченных ламеллярных структур. В ряде случаев те же механизмы могут инициировать рост так называемых шиш-кебаб структур, которые также способны привносить изменения в механические свойства композита [97].

Одной из основных особенностей полимерных систем является их четко выраженная иерархическая структура. Последовательный подход описания при этом должен охватывать ряд пространственных масштабов начиная от размеров отдельного мономера (субнаномет-ровый масштаб) до структуры цельной молекулы (десятки-сотни

(я) принципиальная схема (Ъ) продолжительность

вычислений

Рис. 16. Многомасштабное моделирование полимерных композитов

нанометров) и конфигураций, образующихся в системе многих молекул (субмикронные масштабы) (рис. 16(я)). Аналогичная иерархия масштабов может быть построена и для шкалы времен протекания процессов в высокомолекулярных системах. Если характерное время переориентации отдельного мономера составляет 10-11 с, то время релаксации цепи, содержащей N звеньев, согласно модели Рауза [98], будет составлять Т = tN2. В случае цепи из N=1000 звеньев характерное время релаксации макромолекулы может достигать 10-5 с. В связи с этим, даже МД-расчёты с участием достаточно простого полимера, как, например, полиэтилен, требуют задания начальной конфигурации, максимально близкой к равновесной при рассматриваемых условиях. Более сложные конформационные перестройки полимерных систем как, например, стеклование или кристаллизация из расплава, как правило, лежат далеко за пределами временных масштабов, доступных МД.

Активное использование МД для задач моделирования наноком-позитов началось немногим более десятилетия назад. Первые работы в этой области [99] были нацелены на изучение аспектов взаимодействия полимера с участками поверхности наполнителя, поскольку вычислительные возможности не позволяли размещать в расчётной ячейке наночастицы характерных размеров. Классическая полноатомная МД, будучи достаточно ресурсоёмким методом, накладывает серьезные ограничения на линейные размеры исследуемой системы, которые обычно не превышают сотен нанометров, и на времена расчёта. На помощь в этом случае приходят методы огрублённой (т.н.

coarse-grained) молекулярной динамики. В огрублённой модели составные части полимеров и полимерных композитов представляются в упрощённой геометрии. Основной идеей метода является объединение нескольких маленьких частиц (групп атомов) в один большой блок (супер-атом) и использование общих силовых постоянных и геометрических параметров, основанных на простых соображениях гибридизации. При таком упрощении функциональной формы описания межатомных взаимодействий важно следить за сохранением физических свойств материалов. Для сложных полимерных систем не существует универсального алгоритма задания структуры супер-атома (т.н. mapping). Для каждой конкретной задачи методика огрубления атомарной структуры (определение групп атомов, которые в дальнейшем сформируют супер-атомы), как правило, выявляется путём рассмотрения нескольких наиболее уместных вариантов. От выбора варианта огрубления напрямую зависит описательная способность создаваемой упрощённой модели. Среди стохастических методов описания эволюции атомистических систем стоит также выделить метод диссипативной динамики частиц (DPD). DPD, так же как и классическая МД, основан на интегрировании систем уравнений движения Ньютона. Благодаря меньшей вычислительной сложности он позволяет рассматривать крупные системы, включающие в себя группы из наночастиц субмикронного размера, и широко используются для изучения процессов агломерации наночастиц и их влияния на свойства полимерных матриц [100].

В работе [101] для изучения влияния размера наночастицы на упругие свойства композита на основе полноатомного потенциала AIREBO и формализма силового поля DREIDING построена двухуровневая модель описания полиэтиленового композита с углеродными нановключениями. Силовые константы потенциала огрубленной модели предварительно вычислялись с помощью метода Boltzmann Inversion [102] и метода согласования по силе (force-matching method) на основе поведения полноатомной модели. В качестве супер-атомов рассматривались CH2 группы. Для иллюстрации ускорения вычислений при переходе к огрублённой системе и проверки её масштабируемости был проведён ряд расчётов с моделью полиэтиленовой матрицы, насчитывавшей 30000 атомов. На рис. 16(b) представлена зависимость реального вычислительного времени, требуемого на расчёт траектории длительностью в одну пикосекунду (Tps), от величины задействованных вычислительных ресурсов. Квадраты соответствуют полноатомной модели, треугольники—огрубленной. Красными

О о 10 15 20 25 30 35 40 4= 0 10 20 30 40 50 60

#узлив

Рис. 17. Скорость расчёта МД: актагардин в воде (21000 атомов, 5 траекторий) и липид II в бислое РОРС/РОРО в воде (58000 атомов)

линиями обозначено идеальное масштабирование задач. Снижение вычислительной ресурсоёмкости в ходе огрубления позволило провести ряд расчётов деформирования полимерной матрицы с наполнителем в виде углеродных нанотрубок на субмикронных масштабах, недоступных в полноатомном приближении.

8. Биология

8.1. Действие антибиотиков на мишени

Широкий спектр работ, связанных с моделированием биомолекул, проводится в лаборатории моделирования биомолекулярных систем ИБХ РАН под руководством проф. Р.Г. Ефремова, см. например [103-106].

Рассматривается, в частности, компьютерное конструирование антибиотиков, действующих на мишени в мембранах грамположи-тельных бактерий [106]. Проведена серия МД расчётов липида-11 в модельной бактериальной мембране (ПОФХ, ПОФЭ). При моделировании учитывалось 288 липидов, более 30000 молекул воды и 200 ионов Ма+. Длительность траекторий достигала 1 мкс. Анализировались: геометрические параметры, Н-связи, гидрофобные кластеры, взаимодействие липида-11 с фосфолипидами и растворителем. Рассчитывались энергии взаимодействия «ловушки» с липидом-11, моделировалась диффузия в мембране.

Проведен анализ скорости и масштабируемости МД расчётов. Использовался пакет Gromacs 4.5.5. Расчёты проводились на пяти кластерах: МВС-100К (МСЦ), СКИФ-Аврора, МФТИ-2011 и МФТИ-2012. Были проведены расчёты для двух систем. Результаты представлены на рис. 17. В случае актагардина в воде в системе было около 21000 атомов. Рассчитаны траектории на пяти кластерах (рис. 17, слева). Масштабируемость оказалась сильно зависящей от кластера. В случае липида II в бислое POPC/POPG в воде в системе было около 58000 атомов (рис. 17, справа). Два расчёта, проведенные на одном и том же кластере, выявили ухудшение масштабируемости при увеличении числе процессоров в узле. Этот вывод, однако, требует проверки в силу других результатов на рис. 17, слева.

Авторы [106] обращают внимание на следующие выводы. Кластер «МФТИ-2012» позволяет достичь скорости расчёта МД до 150 нс/сутки. Оптимальные параметры расчёта сильно зависят от размеров системы. Необходимо изменение алгоритмов LINCS (фиксации длин связей с атомами водорода) в МД для повышения стабильности расчёта на большом числе узлов. Использование набора команд AVX при компиляции программы позволяет увеличить скорость расчёта, особенно процедур быстрого преобразования Фурье (FFT). Более уверенный анализ масштабируемости расчётов от размеров системы и типа кластеров требует дополнительных расчётов.

8.2. Многомасштабное моделирование.

Пример такого подхода можно проиллюстрировать работой [107], выполненной в 2011-2012 гг. в рамках программы INCITE. Работа посвящена моделированию кровотока в артериях головного мозга. Единая многомасштабная модель объединяет гидродинамическое описание течения крови в рамках модели Навье-Стокса и детальное описание движения холестериновых частиц методом МД.

Для решения одной задачи в работе используется от 20 до 300 тыс. ядер. Рассматривается структура участка системы артерий. Она подразделяется на области, каждая из которых рассчитывается на вычислительном поле порядка 5-70 тыс. ядер. Исследование, выполненное в приведенной работе [107] состоит из следующих частей:

• связь континуального и дискретного алгоритмов с разными временными шагами;

• обмен данными в процессе расчёта между частями системы и между континуальным и дискретным уровнями;

Повышение уровня детализации

юооос Геология с разномасштабными трещинами

со Сейсмостойкость Моделирование землетрясений

о ^ со

X 10000 с Трещины в геологии Задачи сейсмостойкости Глобальная сейсмика

>

5 юоо

со rt Сейсмокубы

2д сложная геометрия

& 100

сз 2д задачи .•••'"

0_ 10 Зд тесты

J_10 100 1000 10000 100000

Число ядер

Рис. 18. Доступные для изучения на разных масштабах задачи сейсмики

• оптимизация производительности с учетом специфики систем

IBM BlueGene/P и Cray XT5;

• анализ параллельной эффективности на обеих системах.

Пример работы [107] показывает нетривиальность самого процесса использования новых суперкомпьютерных возможностей, начиная с процесса задания начальных условий и заканчивая обработкой больших массивов выходных данных. Решение подобных проблем, очевидно, имеет высокую научно-техническую ценность.

9. Механика сплошных сред

Картинки, аналогичные вышеприведённым, могут быть построены и для задач, решаемых численными методами механики сплошных сред (МСС). На рис. 18 представлен пример для задач сейсмики, построенный Петровым и Хохловым [108] по нашему предложению. По горизонтали отложено требуемое число вычислительных ядер, а по вертикали — соответствующий максимально допустимый размер сетки, т.е. число её узлов. На пересечении чисел ядер и узлов, соответствующих друг другу, представлены примеры задач, решаемых при таких значениях ядер и узлов. При малом числе вычислительных ядер решаются простые двумерные задачи и проводятся тестовые расчёты

для трёхмерных задач с сетками менее 108 узлов. При увеличении вычислительного поля до сотни ядер становятся доступными сетки с числом узлов до 109. Это позволяет перейти к двумерным задачам сложной геометрии и слоистой геологии. При числах ядер порядка 103 доступное число узлов увеличивается 1010. Соответственно, становится доступным решение задач возникновения трещин в геологии, сейсмостойкости и глобальной сейсмики.

Выход на уровень 104-105 ядер открывает возможность работать с сетками до 1011 узлов. Можно приступить к моделированию геологических задач с разномасштабными трещинами и, таким образом, к анализу сейсмостойкости и моделированию землетрясений. Дальнейшее увеличение числа ядер и переход к сеткам 1012 узлов и выше позволит повысить уровень детализации и перейти к многомасштабным задачам.

10. Какие нужны суперкомпьютеры экзафлопсного класса?

Рассмотрим три класса задач.

10.1. Классическое атомистическое моделирование

Результаты, представленные на рис. 19, показывают, что, например, для 108 частиц снижение эффективности распараллеливания до 80% для толстого дерева происходит при 700 процессорах, когда ускорение составляет всего « 600 раз, в то время, как для тора — при «120000 процессорах, когда ускорение составляет уже « 105 раз. Преимущества тороидальной системы весьма значительны.

В силу этого, соотношения между осями M и N на рисунках, приведённых в разделах 3-8 , будут различаться для систем толстого дерева и тора.

Гибридные вычислительные системы, использующие несколько различных вычислительных устройств, получили широкое распространение в последние годы. Анализ списка Топ-500 [109] лучших суперкомпьютеров мира, показывает, что наибольшей популярностью на сегодняшний день пользуются машины, использующие в качестве укорителей видеокарты NVIDIA архитектуры Kepler или сопроцессоры Intel Xeon Phi архитектуры MIC (Many Integrated Core). Резкий рост количества машин с гибридной архитектурой связан в первую очередь с перспективой существенного увеличения производительности суперкомпьютера без значительного увеличения затрат. Пиковая производительность современных ускорителей достигает нескольких

число атомов

число процессоров M number of processing elements

Fat tree Toroidal system

Рис. 19. Схематичное сопоставление масштабируемости на системах толстого дерева (слева) и тора BlueGene/P, ANL (справа) для леннард-джонсовской системы. В обоих случаях использован пакет LAMMPS

ТФлопс (1012 операций с плавающей точкой в секунду). Однако использование значительной доли пиковой вычислительной мощности Rpeak в реальных приложениях не всегда возможно. Это связано с необходимостью полного переписывания исходного кода для обычных CPU, решения проблем с доступом к памяти ускорителя, шириной канала передачи данных между центральным процессором и ускорителем, а также особенностями работы АЛУ ускорителей.

В сложившейся ситуации при наличии большого разнообразия аппаратного обеспечения для высокопроизводительных суперкомпьютерных расчётов особенную актуальность приобретает вопрос сравнения между собой различных альтернативных решений. Целью анализа должна быть эффективность связи 1) аппаратного обеспечения, 2) конкретной математической модели или класса моделей и 3) численных алгоритмов, в том числе с учетом уже существующего программного обеспечения (ПО) и сложности их адаптации на новые типы аппаратного обеспечения.

Как на ускорителях NVIDIA GPU, так и на сопроцессорах Intel Xeon Phi, операции двойной точности с плавающей точкой поддержи-

вают набор инструкций умножения-сложения с однократным округлением (fused multiply-add—FMA). При этом за один такт может выполняться одна операция сложения и одна операция умножения вида у = а * х + b без потери точности. Это позволяет добиться ускорения в алгоритмах, требующих суммирования произведений, например, перемножение матриц или вычисление значения многочлена по схеме Горнера.

В алгоритмах молекулярной динамики большую часть времени расчёта занимает построение списка соседей и вычисление сил взаимодействия между атомами. Однако доля операций, в которых можно использовать инструкции FMA, ничтожна. В результате выполнения любой одиночной операции сложения/умножения фактически приводит к тому, что половина вычислительной мощности ускорителя или сопроцессора остается незадействованной. В отличие от ускорителей процессоры Intel поколения Sandy Bridge и Ivy Bridge, установленные сегодня на большинстве современных суперкомпьютеров, не поддерживают набор инструкций FMA на аппаратном уровне.

В данном разделе приводится анализ производительности пакета программ LAMMPS на различных гибридных архитектурах. Задачи запускались на суперкомпьютере МГУ «Ломоносов» [110] (видеокарты NVIDIA X2070) и суперкомпьютере МСЦ РАН МВС-10П (сопроцессоры Intel Xeon Phi). Видеокарта K40 исследовалась на тестовом компьютере, предоставленном компанией NVIDIA. Для оценки эффективности алгоритмов рассматривалась леннард-джонсовская жидкость из 106 атомов, длина траектории составляла 100 шагов. В качестве критерия сравнения использовалось время расчёта одного шага на один атом, так как оно слабо зависит от полного числа атомов и служит объективным критерием быстродействия. Производительность гибридных архитектур соотносилась с производительностью обычных процессоров в метрике их пиковой производительности Rpeak.

Рассмотрим подробнее данные на рисунке 20. В части а) приведено сравнение обычной версии LAMMPS (без векторизации кода) и с ручной векторизацией (модуль «USER-INTEL») на суперкомпьютерах МВС-10П и «Ломоносов». Для сравнения приведены данные однопроцессорных тестов на некоторых вышедших из эксплуатации машинах начала 2000-х гг (1 — Pentium II 333 МГц, 2—DEC Alpha 500 МГц, 3-PowerPC 440, 4-Power4 1.3 ГГц, 5-Intel Xeon 3.47 ГГЦ). Пиковая производительность рассчитывалась как произведение тактовой частоты на число ядер и на число операций с плавающей

точкой на один такт (в соответствии со значениями, приводящимися в списке Топ-500). Крайние левые точки для МВС-10П и «Ломоносова» соответствуют одному вычислительному ядру, крайние правые — 256 ядрам. Пунктиром показана идеальная масштабируемость, когда увеличение вычислительного поля в два раза приводит к уменьшению времени расчёта в 2 раза для той же задачи. Видно, что оптимизация «USER-INTEL» позволят добиться двукратного роста скорости расчёта.

Рост производительности современных суперкомпьютеров идет как по пути наращивания вычислительных ядер, так и наращивания сложности самого ядра, внедрения операций FMA и поддержки векторных инструкций. Это приводит к увеличению теоретической пиковой производительности, которая зачастую не может использоваться на 100% для многих алгоритмов.

Подобную ситуацию можно проиллюстрировать на примере процессоров Power4 и PowerPC 440 (точки 3 и 4 на рис. 20а), которые выбиваются из обратной пропорциональности времени расчёта от пиковой производительности ядра. Однако эти точки ложатся на общую линию, если уменьшить реальное число операций на такт с 4 до 2 для Power4 и с 4 до 1 для PowerPC 440 (и, соответственно, пиковую производительность ядра). В первом случае 4 операции на такт обеспечиваются двумя операциями FMA, во втором случае — двойной операцией FMA (одна операция FMA применяется к двум сегментам данных). Таким образом, в данном случае реальная производительность составляет 50% и 25% от Rpeak даже на одном ядре.

В части б) рисунка 20 показано сравнение времен расчёта на видеокартах NVIDIA X5670 (кластер «Ломоносов») при использовании различных модулей LAMMPS (модулей USER-CUDA, GPU и KOKKOS). Аналогичное исследование для видеокарты NVIDIA Tesla K40 показано в части в) рисунка 20. Для сравнения приведены данные с сайта LAMMPS для NVIDIA С2075 и NVIDIA K40 GPU. Программная реализация алгоритмов на GPU сильно влияет на скорость расчёта, для одних и тех же данных она может отличаться в несколько раз. Например, модуль «USER-CUDA» хорошо оптимизирован для запусков задач на одной видеокарте, но увеличение их числа не дает соответствующего увеличения скорости расчёта. Несмотря на указанный разброс, во всех случаях их производительность существенно уступает производительности CPU в метрике Rpeak. При этом использование видеокарт требует больших временных затрат

Рис. 20. Сравнение быстродействия МД-пакета LAMMPS на различных платформах

на оптимизацию кода. Аналогичный вывод справедлив и при запуске задач на всех ядрах ускорителя Intel Xeon Phi SE10X в «родном» режиме, данные приведены в части г) рисунка 20 (верхняя точка— запуск без оптимизации, нижняя — используется модуль KOKKOS). Сопроцессоры сильно проигрывают обычным CPU по эффективности использования Rpeak.

Таким образом, из одинаковых значений Rpeak не следует одинаковое время решения задач. Результаты тестов показывают, что предложенная метрика выявляет аппаратное обеспечение, оптимизированное под тесты типа LINPACK и являющееся существенно менее эффективным для приложений иного типа. В частности, подобный результат был ожидаем для архитектур NVIDIA GPU и Intel Xeon Phi, однако и для процессоров IBM Power оказалось, что максимальная эффективность операций с плавающей точкой для задач молекулярной динамики соответствует лишь половине декларируемой пиковой производительности.

10.2. Механика сплошных сред

И в атомистических, и в МСС моделях пространственная локальность взаимодействия обеспечивает высокую параллельную эффективность данного подхода. Очевидно, что такого рода параллельные алгоритмы могут быть особенно хорошо оптимизированы на большие размеры вычислительного поля для сетей с тороидальной топологией, которая демонстрирует аналогичную локальность и, соответственно, обеспечивает высокую скорость обменов данными между топологически близкими вычислительными элементами [111]. Для задач классической МД это показано в предыдущем разделе.

Петров и Хохлов [108] продемонстрировали масштабируемость задач сейсмики, близкую к идеальной, вплоть до 10 000 процессоров.

В работе Чуданова, Горейнова и др. [112] представлен новый метод решения задач вычислительной гидродинамики на суперкомпьютерах петафлопсной производительности. Продемонстрирована масштабируемость, близкая к идеальной, вплоть до 100 000 процессоров на BlueGene/Q (MIRA) Аргоннской национальной лаборатории 21.

Авторы [112] сопоставили быстродействие своего алгоритма на кластерах с архитектурой Тор и Толстое дерево 21. Как и следовало ожидать, архитектура Тор оказалась эффективнее. Однако при больших производительностях кластер BlueGene/Q (MIRA) дал неожиданный сбой. Причину этого выяснить не удалось, ибо, как раз в это время сотрудники ИБРАЭ РАН были лишены доступа к BlueGene/Q (MIRA) из-за введённых антироссийских санкций.

В работе [113] представлены результаты оптимизации производительности прямого численного моделирования (direct numerical simulation (DNS)) турбулентного потока в плоском канале. В методе DNS уравнения гидродинамики решаются без использования подсе-точного моделирования. Моделирование турбулентности с большими числами Рейнольдса представляет сложную вычислительную задачу из-за высоких требований к пространственному и временному разрешению. Оптимизированный код был разработан с использованием спектральных методов. Целью оптимизации было решение трех важных проблем: эффективность алгоритмов линейной алгебры для работы с ленточными матрицами, повторное использование кэша и доступа к памяти, обмен данными при транспонировании. Результаты показывают, что производительность зависит от характеристик коммуникационной сети, а не от производительности одного ядра. В

Рис. 21. Масштабируемость задач вычислительной гидродинамики на суперкомьютерах В1иб0бПб и Ломоносов

тестах они достигли 80% эффективности сильного масштабирования на 786000 ядрах по сравнению с производительностью на 65000 ядрах.

Подход [113] отличается от подхода, использованного в работе Чуданова [112]. В последнем используются естественные переменные скорость-давление (а не вихрь-функция тока), переменные коэффициенты (а не спектральный метод), метод фиктивных областей (а не плоские границы).

10.3. Квантовое (ab initio) атомистическое моделирование

10.3.1. Параллелизм и масштабируемость

Хотя наличие более глубокого, квантового уровня подразумевалось и в предыдущих разделах, его масштабируемость дана весьма условно, поскольку по сравнению с одномерной масштабируемостью

Рис. 22. Оценка параллельной эффективности для модели 2048 молекул воды для различных топологий суперкомпьютеров (расчёт в рамках ТФП с использованием пакета CP2K)

(рис. 3) появляется ещё одна ось — число базисных функций, по которым раскладывается квантовое решение.

В работе [114] представлен обзор распараллеливания алгоритмов ab initio МД на основе теории функционала электронной плотности в базисе плоских волн. Проанализированы требования к балансу вычислительной мощности узлов и коммутационной сети суперЭВМ с точки зрения достижения максимальной эффективности для примеров особенно требовательных в вычислительном отношении задач физики разогретого плотного вещества. Описана альтернативная стратегия параллелизации в вейвлетном базисе и выигрыш в производительности при использовании гибридных вычислительных систем в этом случае.

10.3.2. Роль архитектуры

Как и молекулярно-динамические задачи, ab initio расчёты являются чувствительными к архитектуре вычислительных кластеров. Вклад в снижение масштабируемости вносит обмен данными между узлами, поскольку в задачах данного типа не представляется возможным добиться распараллеливания вычислений на полностью независимые потоки. В связи с этим, при увеличении количества задействованных вычислительных модулей величина эффективного ускорения расчёта падает.

На рис. 22 представлено сравнение эффективности масштабирования ТФП расчёта для двух суперкомпьютеров с различной топологией коммутационных сетей: толстое дерево и трёхмерный тор. В качестве тестового примера производительности был выбран пакет CP2K. Расчёты проводились для системы, насчитывающей 2048 молекул воды. Данные для IBM BlueGene/P взяты из [115]. Из графика видно, что на системе с топологией толстое дерево данный тип задач в пределах больших размеров вычислительного поля масштабируется хуже: существенное отклонение от прямой идеального масштабирования наблюдается уже при использовании 512 ядер, в то время как на IBM BlueGene/P ускорение растёт линейно вплоть до подключения нескольких тысяч ядер.

10.4. Локальность обменов данными

Нелокальные обмены, однако, являются распространённой чертой вычислительных алгоритмов. Широкий класс подобных алгоритмов в области молекулярного моделирования соответствует многомерному быстрому преобразованию Фурье. Адаптация подобных алгоритмов на сети тороидальной топологией является уже весьма разработанной частью необходимого инструментария параллельных вычислительных алгоритмов [116].

Тороидальные топологии представляют собой одно из магистральных направлений развития интерконнекта. Суперкомпьютеры IBM BlueGene/Q основаны на топологии 5-ти мерного тора, интеркон-нект Fujitsu Tofu соответствует неполному 6-ти мерному тору. Таким образом, развитие идёт в направлении роста локальной связности коммуникаций. С другой стороны, «тороидальность» сама по себе и не является обязательной. Так на смену интерконнекту с топологией 3-х мерного тора Cray Gemini пришла новая коммуникационная сеть Cray Aries с гибридной топологией «стрекоза» (dragonfly).

Очевидно, что развиваемые вычислительные алгоритмы «экза-флопсной эры» должны будут учитывать особенности интерконнекта. И наоборот: выбор коммуникационной сети должен определяться будущими задачами. При этом проблема наилучшего отображения коммуникационного шаблона задачи на топологию коммуникационной сети — выходит на передний план [117] вместе с требованиями повышения локальности коммуникаций используемых алгоритмов для снижения энергозатрат [118].

ll. Перспективы развития суперкомпьютеров

ll.l. Программа CORAL

Министерство энергетики США (DOE) запустило программу CORAL. Эта аббревиатура раскрывается как Collaboration трёх национальных лабораторий Oak Ridge (ORNL), Argonne (ANL) и Livermore (LLNL). В рамках этой программы DOE объявило конкурс на три системы преэкзафлопсного класса, Summit (ORNL, 15Q-3QQ петафлопс), Aurora (ANL, 18Q петафлопс), и Sierra (LLNL, 1QQ+ петафлопс). Суперкомпьютеры должны в 2Q17 году прийти на смену Titan (ORNL, 27 петафлопс), Mira (ANL, 1Q петафлопс) и Sequoia (LLNL, 2Q петафлопс). В экспертную группу включены также на равных представители Los Alamos NL и Sandia NL.

Цель программы CORAL—обеспечить удержание лидерства США в развитии суперкомпьютеров. Уже решено, что request for proposal (RFP) выпускает LLNL. На основании конкурса заключаются два разовых договора на инжиниринг и три контракта на покупку суперкомпьютеров. Оба договора на инжиниринг управляются совместно тремя лабораториями. Для уменьшения рисков и чтобы удовлетворить широкому набору требований предусмотрен выбор двух путей разработки архитектуры суперкомпьютеров, уже объявлено, что Summit и Sierra будут работать на процессорах IBM POWER9 и видеокартах NVIDIA Volta, Aurora—на новом поколении сопроцессоров Intel Xeon Phi, при этом Intel будет вести разработку совместно с Cray.

На этапе подготовки решений все предложения докладываются на заседаниях Advanced Scientific Computing Advisory Committee (ASCAC) Министерства энергетики США. В состав ASCAC входят 9 профессоров 9 ведущих университетов США, в том числе председатель ASCAC, и по одному представителю Microsoft, Google, LLNL, SNL и Pittsburgh Supercomputing Center. Всего 14 человек.

Представителей лабораторий-заказчиков здесь нет.

Поставлены цели, которым должна удовлетворять производительность новой системы, и перечислены тестовые приложения, по которым проверяется достижение этих целей.

Для выделенного режима, т.е. когда масштабируемость под одну задачу охватывает до 90% системы, поставлена цель добиться S > 4.0 при увеличении размерности задачи: числа атомов, узлов сетки и др., где S — отношение производительности новой системы к производительности текущей системы. Тестовыми приложениями выбраны: первопринципные расчёты основного состояния (LSMS), квантовая молекулярная динамика (QBOX), гравитационная задача N тел (HACC), термогидромеханика (Nekbone). В скобках указаны рекомендуемые пакеты программ.

Для многозадачного режима, занимающего всю систему при одновременном запуске не менее 24 задач, цель поставлено S > 6.0. Тестовыми приложениями выбраны: квантовый метод Монте-Карло (QMCPACK), классическая молекулярная динамика (NAMD), динамика атмосферы (CAM-SE), многосеточный солвер (AMG2013), метод конечных элементов (MiniFE), гидродинамика ударно-волновых явлений (LULESH), перенос излучения (неструктурированные сетки) (UMT2013), перенос излучения (структурированные сетки) (SNAP), метод Монте-Карло (задачи переноса) (MCB).

Требования по LINPACK и месту в Топ-500 вообще не фигурируют.

Кроме этого, в ORNL выбрали 13 широко использующихся программных кодов из различных областей для портирования и оптимизации приложений на новый гибридный суперкомпьютер Summit. Разработчики получат ранний доступ к суперкомпьютеру и техническую поддержку от IBM и NVIDIA.

После определения победителей конкурса предусмотрено многолетнее сотрудничество между лабораторией-заказчиком и компанией-победительницей с целью достижения наивысшей производительности. Каждая из трёх лабораторий самостоятельно проводит переговоры по заключению и управлению контрактом на покупку суперкомпьютера и может выставлять свои специальные требования к контракту.

Помимо программы CORAL, в США создаётся национальная стратегическая компьютерная инициатива (NSCI) [119]. Выделены пять стратегических целей:

• ускорение создания экзафлопсного суперкомпьютера;

• увеличение согласованности технологической базы суперкомпьютеров для вычислений и для анализа данных;

• разработка пути развития высокопроизводительных систем в постмуровскую эпоху, когда будут достигнуты пределы нынешних полупроводниковых технологий;

• увеличение способностей и возможностей национальной экосистемы высокопроизводительных систем с использованием глобального подхода, который учитывает такие факторы как сетевые технологии, производственный процесс, основные алгоритмы и программное обеспечение, доступность и развитие трудовых ресурсов;

• развитие прочной публично-частной коллаборации, чтобы выигрыш от исследований был в значительной степени разделен между правительством США и промышленным и академическим секторами.

11.2. Развитие суперкомпьютеров в Японии и Китае

Наиболее мощным суперкомпьютером в Японии является K computer (4 место в списке Топ-500), разработанный компанией Fujitsu. В апреле 2014 года Fujitsu и исследовательский центр Riken были выбраны для создания суперкомпьютера нового поколения в Японии. Проект получил название FLAGSHIP 2020 Project. Предполагается создание суперкомпьютера экзафлопсного класса к апрелю 2021 года. Вместе с суперкомпьютером будут разрабатываться и конкретные приложения для работы на нем.

Наиболее производительный суперкомпьютер (по данным списка Топ-500) на сегодняшний день установлен в Китае. В ближайших планах — увеличение его пиковой производительности до 100 ПФлопс. Также планируется развитие суперкомпьютеров на базе китайских процессоров ShenWei.

На рис. 23 сравниваются планируемые производительности лучших суперкомпьютеров в США, Японии и Китае на ближайшие пять лет. Эти страны, по видимому, останутся на лидирующих позициях в суперкомпьютерной области.

12. Заключение

12.1. Зачем нужны суперкомпьютеры экзафлопсного класса

Рассмотрен подход, дающий возможность выяснять потребности перспективных задач физики, биологии и других естественных наук

Э. Норман, Н. Д. Орехов, В. В. Писарев, Г. С. Смирнов и др. 101

Рис. 23. Планы развития суперкомьютеров в США, Китае и Японии

в полномасштабных расчётах на суперкомпьютерах экзафлопсного класса. Подход позволяет определить, может ли решение той или иной задачи загрузить единовременно сотни тысяч или даже миллионы вычислительных ядер в одном расчёте и нужно ли это. Основная идея заключается, с одной стороны, в проверке масштабируемости алгоритмов при переходе к большему числу вычислительных ядер, а, с другой, в теоретической оценке размеров физической системы, рассмотрение которой требуется для решения поставленной задачи.

Развиваемый подход позволяет установить перспективу нарастания сложности задач, принадлежащих к одному научному направлению, возможность решения которых будет открываться с прогрессом развития суперкомпьютеров. Приведены примеры из области классического и квантового атомистического моделирования и вычислений методом молекулярной динамики. Отмечено, что подход имеет более широкую область применения, в частности, в механике сплошных сред при использовании новых алгоритмов численных методов расчётов на сетках. Указано на многомасштабные подходы.

12.2. Какие нужны суперкомпьютеры экзафлопсного класса

Подчёркнуто, что успех применения суперкомпьютеров, имеющих равную производительность на тесте LINPACK, к решению одной и

той же научной задачи может сильно зависеть от архитектуры суперкомпьютера. Сопоставлены результаты расчётов на суперкомпьютерах двух топологий: толстое дерево и тор. Рассмотрены три класса задач: классическая молекулярная динамика, численные методы механики сплошных сред и квантовое атомистическое моделирование.

Показано, что использование суперкомпьютеров тороидальной топологии оказывается предпочтительным для всех трёх классов задач. При этом речь может идти о выигрыше в производительности по отношению к решению конкретного класса задач в десять и более раз, при равной производительности на тесте LINPACK. В некоторых случаях задача, решаемая на тороидальной системе, оказывается не решаемой на системе толстое дерево. Заметим в связи с этим, что суперкомпьютер «Млечный Путь», бывший №1 в Топ-500, может провалиться вниз для конкретной научной задачи ввиду своей архитектуры.

Вместе с тем ограничивать разработчиков только тороидальными системами не следует. Алексей Лацис [120] совершенно справедливо заметил, что будущее за новыми техническими решениями. Примером из недавнего прошлого стали графические ускорители. Не наложено строгого ограничения и на архитектуру трёх суперкомпьютеров-лидеров следующего поколения, разрабатываемых по заказу DOE в США.

12.3. Взаимодействие разработчиков и пользователей суперкомпьютеров

В новой редакции Топ-500 [109] от июня 2015 в верхней десятке 8 тороидальных систем. Это связано с тем, что суперкомпьютеры в США создаются под определённые классы задач с учётом мнения пользователей. Два примера из практики IBM прошедших десятилетий.

При разработке архитектуры суперкомпьютеров IBM BlueGene/L задачи молекулярного моделирования рассматривались в качестве главного приоритета [1]. А в 1970-ые годы Энрико Клементи, разработчик квантово-химической программы IBMOL, публиковавший тогда десятки статей в лучших физических журналах, тестировал на своих задачах новые модели IBM в процессе их доведения.

Для удержания лидерства США в развитии суперкомпьютеров Министерство энергетики США (DOE) запустило на 2013-2017 годы программу CORAL. Поставлены цели, которым должна удовлетворять

производительность новых систем, и перечислены тестовые приложения, по которым проверяется достижение этих целей как для (а) выделенного режима, т.е. когда масштабируемость под одну задачу охватывает до 90% системы, так и для (б) многозадачного режима, занимающего всю систему при одновременном запуске не менее 24 задач. Целью является повышение производительности новой системы по отношению к производительности текущей системы не менее, чем в четыре (а) и шесть (б) раз.

Тестовыми приложениями выбраны первопринципные расчёты, квантовая и классическая молекулярная динамика, термогидромеханика, гидродинамика ударно-волновых явлений, три подхода к переносу излучения и ещё пять задач. Представители компаний-производителей (IBM, Cray и др.) не участвуют в работе комиссий на этапах выработки требований, отбору тестовых приложений и подготовки решений. Предусмотрено, однако, многолетнее сотрудничество между лабораторией-заказчиком и компанией-победительницей с целью достижения наивысшей производительности. Требования по тесту Linpack и месту в Топ-500 вообще не фигурируют.

Для сравнения, 30 марта-3 апреля 2015 г. в г. Екатеринбурге прошла конференция "Параллельные вычислительные технологии (ПаВТ) 2015". Согласно обширному репортажу [121], повышение производительности на тесте Linpack и место в Топ50 оказалось в центре внимания конференции. О тестовых приложениях не упоминается. Однако частные высказывания некоторых участников конференции всё же обнадёживают.

Отношение к развитию суперкомпьютеров в России требует радикального переосмысления. Главным является переход к ситуации, когда заказчиками на разработку новых суперкомпьютеров станут квалифицированные пользователи, владеющие задачами, которые могут эти суперкомпьютеры эффективно загрузить.

Благодарности. Авторы признательны С. А.Горейнову, Р. Г. Ефремову, И. Б. Петрову и В. В. Чуданову за предоставленные материалы и обсуждение. Расчёты выполнены в МСЦ РАН, на кластерах МФТИ-60 кафедры информатики МФТИ, К-100 ИПМ им. М. В. Келдыша РАН, «Ломоносов» МГУ им. М. В. Ломоносова. Использовались пакеты LAMMPS, VASP, CPMD, СР2К и собственные разработки.

Список литературы

[1] IBM Journal of Research and Development, 2005, URL: http: //www.research.ibm.com/journal/rd49-23.html \ '

[2] INCITE program, URL: http://www.doeleadershipcomputing.org/f244

[3] В. В. Стегайлов, Г. Э. Норман. «Проблемы развития суперкомпьютерной отрасли в России: взгляд пользователя высокопроизводительных систем», Программные системы: теория и приложения, 5:1 (2014), с. 111— 152, URL: http://psta.psiras.ru/read/psta2014_1_111-152.pdff246

[4] Г. Э. Норман, В. В. Стегайлов. «Стохастическая теория метода классической молекулярной динамики», Математическое моделирование, 24:6 (2012), с. 3-44. f247

[5] А. В. Янилкин, П. А. Жиляев, А. Ю. Куксин, Г. Э. Норман, В. В. Писарев,

B. В. Стегайлов. «Применение суперкомпьютеров для молекулярно-динамического моделирования процессов в конденсированных средах», Вычислительные методы и программирование, 11 (2010), с. 111-116. f248

[6] Z. A. Insepov, E. M. Karatajev, G. E. Norman. "The kinetics of condensation behind the shock front", Zeitschrift fur Phys. D Atoms, Mol. Clust., 20:1-4 (1991), pp. 449-451. f250

[7] J. M. Savolainen, M. S. Christensen, P. Balling. "Material swelling as the first step in the ablation of metals by ultrashort laser pulses", Phys. Rev. B, 84 (2011), 193410.f251>255>256

[8] А. А. Ионин, С. И. Кудряшов, А. Е. Лигачев, С. В. Макаров, Л. В. Селезнев, Д. В. Синицын. «Наномасштабная кавитационная неустойчивость поверхности расплава вдоль штрихов одномерных решеток нанорельефа на поверхности алюминия», Письма в ЖЭТФ, 94:4 (2011), с. 289-292.f251>257

[9] M. Ishino, A. Y. Faenov, M. Tanaka, S. Tamotsu, N. Hasegawa, M. Nishikino, T. A. Pikuz, T. Kaihori, T. Kawachi. "Observations of surface modifications induced by the multiple pulse irradiation using a soft picosecond x-ray laser beam", Appl. Phys. A, 110 (2012), pp. 179-188.f251>255>256

[10] С. И. Ашитков, Н. А. Иногамов, В. В. Жаховский, Ю. Н. Эмиров, М. Б. Агранат, И. И. Олейник, С. И. Анисимов, В. Е. Фортов. «Образование нанополостей в поверхностном слое алюминиевой мишени при воздействии фемтосекундных лазерных импульсов», Письма в ЖЭТФ, 95:4 (2012), с. 195-197.f251>255>256

[11] В. И. Емельянов, Д. А. Заярный, А. А. Ионин, И. В. Киселева,

C. И. Кудряшов, С. В. Макаров, Ч. Т. Нгуен, А. А. Руденко. «Наномасштабная гидродинамическая неустойчивость расплава при абляции тонкой пленки золота фемтосекундным лазерным импульсом», Письма в ЖЭТФ, 99:9 (2014), с. 601-605.f251>255>257

[12] M. E. Povarnitsyn, T. E. Itina, M. Sentis, K. V. Khishchenko, P. R. Levashov. "Material decomposition mechanisms in femtosecond laser interactions with metals", Phys. Rev. B, 75:23 (2007), 235414.f251>254

[13] N. A. Inogamov, V. V. Zhakhovskii, S.I. Ashitkov, V. A. Khokhlov, Yu. V. Petrov, P. S. Komarov, M. B. Agranat, S. I. Anisimov, K. Nishihara. "Two-temperature relaxation and melting after absorption of femtosecond laser pulse", Appl. Surf. Sci., 255:24 (2009), pp. 9712-9716.f261*264

[14] С. В. Стариков, В. В. Стегайлов, Г. Э. Норман, В. Е. Фортов, М. Ишино, М. Танака, Н. Хасегава, М. Нишикино, Т. Охба, Т. Каихори, Е. Очи, Т. Имазоно, Т. Кавачи, С. Тамотсу, Т. А. Пикуз, И. Ю. Скобелев, А. Я. Фаенов. «Лазерная абляция золота: эксперимент и атомистическое моделирование», Письма в ЖЭТФ, 93:11 (2011), с. 719-725.f261*262

[15] A. V. Mazhukin, V. I. Mazhukin, M. M. Demin. "Modeling of femtosecond ablation of aluminum film with single laser pulses", Appl. Surf. Sci., 257 (2011), pp. 5443-5446. f261

[16] Г. Э. Норман, С. В. Стариков, В. В. Стегайлов. «Атомистическое моделирование лазерной абляции золота: эффект релаксации давления», ЖЭТФ, 114:5 (2012), с. 910-918.f261*262

[17] G. Norman, S. Starikov, V. Stegailov, V. Fortov, I. Skobelev, T. Pikuz, A. Faenov, S. Tamotsu, Y. Kato, M. Ishino, M. Tanaka, N. Hasegawa, M. Nishikino, T. Ohba, T. Kaihori, Y. Ochi, T. Imazono, Y. Fukuda, M. Kando, T. Kawachi. "Nanomodification of gold surface by picosecond soft x-ray laser pulse", J. Appl. Phys, 112:1 (2012), 013104. f261*262*266*266

[18] M. E. Povarnitsyn, T. E. Itina, P. R. Levashov, K. V. Khishchenko. "Mechanisms of nanoparticle formation by ultra-short laser ablation of metals in liquid environment", Phys. Chem. Chem. Phys., 15 (2013), pp. 3108-3114. f261

[19] N. A. Inogamov, V. V. Zhakhovsky, Yu. V. Petrov, V. A. Khokhlov, S. I. Ashitkov, K. V. Khishchenko, K. P. Migdal, D. K. Ilnitsky, Yu. N. Emirov, P. S. Komarov, V. V. Shepelev, C. W. Miller, I.I. Oleynik, M. B. Agranat, A. V. Andriyash, S. I. Anisimov, V. E. Fortov. "Electron-ion relaxation, phase transitions, and surface nano-structuring produced by ultrashort laser pulses in metals", Contrib. to Plasma Phys., 53:10 (2013), pp. 796-810.f261

[20] G.E. Norman, S. V. Starikov, V. V. Stegailov, I. M. Saitov, P. A. Zhilyaev. "Atomistic Modeling of Warm Dense Matter in the Two-Temperature State", Contrib. to Plasma Phys., 53:2 (2013), pp. 129-139.f261*262

[21] J. Vincenc Obona, V. Ocelik, J. C. Rao, J. Z. P. Skolski, G. R. B. E. Romer, A. J. Huis in't Veld, J. Th. M. De Hosson. "Modification of Cu surface with picosecond laser pulses", Appl. Surf. Science, 303 (2014), pp. 118-124.f262

[22] S. V. Starikov, A. Ya. Faenov, T. A. Pikuz, I. Yu. Skobelev, V. E. Fortov, S. Tamotsu, Y. Kato, M. Ishino, M. Tanaka, N. Hasegawa, M. Nishikino, T. Ohba, T. Kaihori, Y. Ochi, T. Imazono, T. Kawachi. "Soft picosecond X-ray laser nanomodification of gold and aluminum surfaces", Appl. Phys. B: Lasers and Optics, 116:4 (2014), pp. 1005-1016.f262*264*266

[23] D. S. Ivanov, A. I. Kuznetsov, V. P. Lipp, B. Rethfeld, B. N. Chichkov, M. E. Garcia, W. Schulz. "Short laser pulse nanostructuring of metals: direct comparison of molecular dynamics modeling and experiment", Appl. Phys. A, 111 (2013), pp. 675-687.f266

[24] C. Wu, L. V. Zhigilei. "Microscopic mechanisms of laser spallation and ablation of metal targets from large-scale molecular dynamics simulations", Appl. Phys. A, 114 (2014), pp. 11-32.f266

[25] Z. Insepov, J. Rest, A. M. Yacout, A. Yu. Kuksin, G. E. Norman, V. V. Stegailov, S. V. Starikov, A. V. Yanilkin. "Derivation of kinetic coefficients by atomistic methods for studying defect behavior in Mo", J. Nucl. Mat., 425:1-3 (2012), pp. 41-47.f267

[26] M. S. Veshchunov, A. V. Boldyrev, V. D. Ozrin, V. E. Shestak, V. I. Tarasov, G. E. Norman, A. Yu. Kuksin, V. V. Pisarev, D. E. Smirnova, S. V. Starikov, V. V. Stegailov, A. V. Yanilkin, "Development of the Mechanistic Fuel Performance and Safety Code SFPR Using the Multi-Scale Approach", TMS2013 Supplemental Proceedings, John Wiley & Sons, Inc., 2013, pp. 655-664. f267>260>261

[27] S. V. Starikov, Z. Insepov, J. Rest, A. Yu. Kuksin, G. E. Norman, V. V. Stegailov, A. V. Yanilkin. "Radiation-induced damage and evolution of defects in Mo", Phys. Rev. B, 84:10 (2011), pp. 104109.f267>268>269

[28] H. Matzke. "Radiation damage in crystalline insulators, oxides and ceramic nuclear fuels", Radiation effects, 64 (1982), pp. 3-33. 267

[29] С. В. Стариков. «Атомистическое моделирование образования дефектов при пролете осколков деления в UO2», ТВТ, 53:1 (2015), с. 58-65.f267

[30] D. E. Smirnova, S. V. Starikov, V. V. Stegailov. "Interatomic potential for uranium in a wide range of pressures and temperatures", J. Phys. Condens. Matter, 24:1 (2012), 015702.f269

[31] D. E. Smirnova, A. Yu. Kuksin, S. V. Starikov, V. V. Stegailov, Z. Insepov, J. Rest, A. M. Yacout. "A ternary EAM interatomic potential for U-Mo alloys with xenon", Model. Simul. Mater. Sci. Eng., 21:3 (2013), 035011. f269

[32] H. Matzke. "Atomic transport properties in UO2 and mixed oxides (U,Pu)O2", J. Chem. Soc, Faraday Trans. 2, 83:7 (1987), pp. 1121-1142.f260

[33] А. Ю. Куксин, Д. Е. Смирнова. «Расчёт коэффициентов диффузии дефектов и ионов в UO2», ФТТ, 56:6 (2014), с. 1166-1175.f260

[34] V. G. Baranov, A. V. Lunev, A. V. Tenishev, A. V. Khlunov. "Interaction of dislocations in UO2 during high burn-up structure formation", J. Nucl. Mater., 444:1-3 (2014), pp. 129-137.f260>261

[35] I. L. F. Ray, Hj. Matzke, H. A. Thiele, M. Kinoshita. "An electron microscopy study of the RIM structure of a UO2 fuel with a high burnup of 7.9% FIMA", J. Nucl. Mater., 245:2-3 (1997), pp. 115-123.f261

[36

[37 [38 [39 [40 [41 [42 [43 [44 [45 [46 [47 [48 [49

I. Zacharie, S. Lansiart, P. Combette, M. Trotabas, M. Coster, M. Groos. "Thermal treatment of uranium oxide irradiated in pressurized water reactor: Swelling and release of fission gases", J. Nucl. Mater., 255:2-3 (1998), pp. 85-91. f261

A. Yu. Kuksin, G. E. Norman, V. V. Pisarev, V. V. Stegailov, A. V. Yanilkin. "Theory and molecular dynamics modeling of spall fracture in liquids", Phys. Rev. B, 82:17 (2010), pp. 174101.f261>263>264>266>266 Z.-J. Wang, C. Valeriani, D. Frenkel. "Homogeneous bubble nucleation driven by local hot spots: a molecular dynamics study", J. Phys. Chem. B, 113:12 (2009), pp. 3776-3784.f261

J. W. P. Schmelzer. "Crystal nucleation and growth in glass-forming melts: Experiment and theory", J. Non. Cryst. Solids, 354:2-9 (2008), pp. 269-278. f261

A. Yu. Kuksin, I. V. Morozov, G. E. Norman, V. V. Stegailov, I. A. Valuev. "Standards for molecular dynamics modelling and simulation of relaxation", Mol. Simul., 31:14-15 (2005), pp. 1005-1017.f262*263

Г. Э. Норман, В. В. Стегайлов. «Гомогенная нуклеация в перегретом кристалле. Молекулярно-динамический расчёт», ДАН, 386:3 (2002), с. 328-332.f263

T. T. Bazhirov, G. E. Norman, V. V. Stegailov. "Molecular dynamics simulation of cavitation in a lead melt at negative pressures", Russian Journal of Physical Chemistry, 80:S1 (2006), pp. S90-S97. f263 Д. К. Белащенко. «Молекулярно-динамическое моделирование гомогенной кристаллизации жидкого рубидия», ЖФХ, 80:12 (2006), с. 2207-2219. f264

F. Trudu, D. Donadio, M. Parrinello. "Freezing of a Lennard-Jones fluid: from nucleation to spinodal regime", Phys. Rev. Lett., 97 (2006), pp. 105701. f264

Д. К. Белащенко, О. И. Островский. «Кристаллизация никеля при больших переохлаждениях по данным молекулярной динамики», ЖФХ, 82:3 (2008), с. 443-455. f264

J. Diemand, R. Angelil, K.K. Tanaka, H. Tanaka. "Large scale molecular dynamics simulations of homogeneous nucleation", J. Chem. Phys., 139:7 (2013), 074309. f266

S. Sinha, A. Bhabhe, H. Laksmono, J. Wolk, R. Strey, B. Wyslouzil. "Argon nucleation in a cryogenic supersonic nozzle", J. Chem. Phys., 132:6 (2010), 064304. f266

А. Ю. Куксин, А. В. Янилкин. «Кинетическая модель разрушения при высокоскоростном растяжении на примере кристаллического алюминия», ДАН, 413:5 (2007), с. 615-619.f266*266 D. E. Grady. "The spall strength of condensed matter", J. Mech. Phys. Solids, 36:3 (1988), pp. 353-384. f266

[50] А. В. Уткин, В. А. Сосиков, А. А. Богач. «Импульсное растяжение гексана и глицерина при ударно-волновом воздействии», ПМТФ, 44:2 (2003), с. 27-33. t266

[51] A. Yu. Kuksin, P. R. Levashov, V. V. Pisarev, M. E. Povarnitsyn, A. V. Yanilkin, A. S. Zakharenkov, "Model of fracture of liquid aluminum based on atomistic simulations", Physics of Extreme States of Matter-2011, eds. Fortov V.E., et al., IPCP RAS, Chernogolovka, 2011, pp. 57-59.t266

[52] D. Rossinelli, B. Hejazialhosseini, P. Hadjidoukas, C. Bekas, A. Curioni, A. Bertsch, S. Futral, S.J. Schmidt, N. A. Adams, P. Koumoutsakos, "11 PFLOP/s Simulations of Cloud Cavitation Collapse", Proceedings of SC13: International Conference for High Performance Computing, Networking, Storage and Analysis, ACM, 2013, pp. 3:1-3:13. ~266

[53] В. В. Писарев. «Определение свободной энергии поверхности кристалл-расплав», ТВТ, 50:6 (2012), с. 769-774. t266

[54] P. P. Gillis, J. J. Gilman. "Dynamical dislocation theory of crystal plasticity. I: The yield stress", J. Appl. Phys., 36:11 (1965), pp. 3370-3380.t267

[55] M. Hiratani, E. M. Nadgorny. "Combined model of dislocation motion with thermally activated and drag-dependent stages", Acta Materialia, 49:20 (2001), pp. 4337-4346. t267

[56] J. N. Johnson, O. E. Jones, T. E. Michaels. "Dislocation dynamics and singlecrystal constitutive relations: Shockwave propagation and precursor decay", J. Appl. Phys., 41:6 (1970), pp. 2330-2339.t267

[57] O. E. Jones, J. D. Mote. "Shockinduced dynamic yielding in copper single crystals", J. Appl. Phys., 40:12 (1969), pp. 4920-4928.t267

[58] J. M. Winey, Y. M. Gupta. "Nonlinear anisotropic description for the thermomechanical response of shocked single crystals: Inelastic deformation", J. Appl. Phys., 99:2 (2006), 023510.t267

[59] R. A. Austin, D. L. McDowell. "A dislocation-based constitutive model for viscoplastic deformation of fcc metals at very high strain rates", Int. J. Plast., 27:1 (2011), pp. 1-24.t267

[60] N. R. Barton, J. V. Bernier, R. Becker, A. Arsenlis, R. Cavallo, J. Marian, M. Rhee, H.-S. Park, B. A. Remington, R. T. Olson. "A multiscale strength model for extreme loading conditions", J. Appl. Phys., 109:7 (2011), 073501. t267

[61] J. L. Ding, J. R. Asay, T. Ao. "Modeling of the elastic precursor behavior and dynamic inelasticity of tantalum under ramp wave loading to 17 GPa", J. Appl. Phys., 107:8 (2010), 083508.t267

[62] S. Groh, E. B. Marin, M. F. Horstemeyer, H. M. Zbib. "Multiscale modeling of the plasticity in an aluminum single crystal", Int. J. Plast., 25:8 (2009), pp. 1456-1473. t267

[63] B.L. Hansen, I.J. Beyerlein, C. A. Bronkhorst, E. K. Cerreta, D. DennisKoller. "A dislocation-based multi-rate single crystal plasticity model", Int. J. Plast., 44 (2013), pp. 129-146.t267

[64

[65 [66

[67

[68

[69

[70

[71

[72

[73 [74 [75

[76 [77

A. V. Yanilkin, V. S. Krasnikov, A. Yu. Kuksin, A. E. Mayer. "Dynamics and kinetics of dislocations in Al and Al-Cu alloy under dynamic loading", Int. J. Plast., 55 (2014), pp. 94-107. f267'268

Г. Э. Норман, А. В. Янилкин. «Гомогенное зарождение дислокаций», ФТТ, 53:8 (2011), с. 1536-1541.f267

M. A. Tschopp, D. E. Spearot, D. L. McDowell. "Atomistic simulations of homogeneous dislocation nucleation in single crystal copper", Modell. Simul. Mater. Sci. Eng., 15:7 (2007), pp. 693.f267

T. Zhu, J. Li, A. Samanta, A. Leach, K. Gall. "Temperature and strain-rate dependence of surface dislocation nucleation", Phys. Rev. Lett., 100 (2008), 025502. f268

D. Mordehai, Y. Ashkenazy, I. Kelson, G. Makov. "Dynamic properties of screw dislocations in CU: a molecular dynamics study", Phys. Rev. B, 67 (2003), 024112. f268

Y. N. Osetsky, D. J. Bacon. "An atomic-level model for studying the dynamics of edge dislocations in metals", Modell. Simul. Mater. Sci. Eng., 11:4 (2003), pp. 427.f268

D. L. Olmsted, L. G. Hector (Jr.), W. A. Curtin, R.J. Clifton. "Atomistic simulations of dislocation mobility in Al, Ni and Al/Mg alloys", Modell. Simul. Mater. Sci. Eng., 13:3 (2005), pp. 371.f268

А. Ю. Куксин, А. В. Янилкин. «Атомистическое моделирование движения дислокаций в металлах в условиях фононного трения», ФТТ, 55:5 (2013), с. 931-939.f268

А. Ю. Куксин, В. В. Стегайлов, А. В. Янилкин. «Молекулярно-динамическое моделирование динамики краевой дислокации в алюминии», ДАН, 420:4 (2008), с. 467-471.f268

J. A. Gorman, D. S. Wood, T. Vreeland. "Mobility of dislocations in aluminum", J. Appl. Phys., 40:2 (1969), pp. 833-841.f268

A. Hikata, R. A. Johnson, C. Elbaum. "Interaction of dislocations with electrons and with phonons", Phys. Rev. B, 2 (1970), pp. 4856-4863. ~268

B. С. Красников, А. Ю. Куксин, А. Е. Майер, А. В. Янилкин. «Пластическая деформация при высокоскоростном нагружении алюминия. Многомасштабный подход», ФТТ, 52:7 (2010), с. 12951304. f268

V. S. Krasnikov, A. E. Mayer, A. P. Yalovets. "Dislocation based high-rate plasticity model and its application to plate-impact and ultra short electron irradiation simulations", Int. J. Plast., 27:8 (2011), pp. 1294-1308. *268

C. В. Разоренов, Г. И. Канель, В. Е. Фортов. «Субмикросекундная прочность алюминия и сплава АМгбМ при нормальной и повышенных температурах», Физика металлов и металловедение, 95:1 (2003), с. 91-96. f

[78 [79

[80 [81

[82

[83 [84

[85

[86 [87

[88

[89

[90

G.I. Kanel, S. V. Razorenov, K. Baumung, J. Singer. "Dynamic yield and tensile strength of aluminum single crystals at temperatures up to the melting point", J. Appl. Phys., 90:1 (2001), pp. 136-143.t268

A. Ю. Куксин, В. В. Стегайлов, А. В. Янилкин. «Атомистическое моделирование пластичности разрушения нанокристаллической меди при высокоскоростном растяжении», ФТТ, 50:11 (2008), с. 1984-1990. t268'269

J. Schiotz, K. W. Jacobsen. "A maximum in the strength of nanocrystalline copper", Science, 301:5638 (2003), pp. 1357-1359.t268'269 D. J. Bacon, Y. N. Osetsky. "Dislocation-Obstacle Interactions at Atomic Level in Irradiated Metals", Mathematics and Mechanics of Solids, 14:1-2 (2009), pp. 270-283. t268

G. Monnet. "Mechanical and energetical analysis of molecular dynamics simulations of dislocation-defect interactions", Acta Materialia, 55:15 (2007), pp. 5081-5088. t268

C. V. Singh, D. H. Warner. "Mechanisms of Guinier-Preston zone hardening in the athermal limit", Acta Materialia, 58:17 (2010), pp. 5797-5805. f268

B. Cao, E. M. Bringa, M. A. Meyers. "Shock compression of monocrystalline copper: Atomistic simulations", Metall. Mater. Trans. A, 38:11 (2007), pp. 2681-2688. t

П. А. Жиляев, А. Ю. Куксин, В. В. Стегайлов, А. В. Янилкин. «Влияние пластической деформации на разрушение монокристалла алюминия при ударно-волновом нагружении», ФТТ, 52:8 (2010), с. 1508-1512. t269 R. W. Siegel, G.E. Fougere. "Mechanical properties of nanophase metals", Nanostruct. Mater., 6:1-4 (1995), pp. 205-216.t269

B. L. Holian, P. S. Lomdahl. "Plasticity induced by shock waves in nonequilibrium molecular-dynamics simulations", Science, 280:5372 (1998), pp. 2085-2088. t269

R. Ravelo, T. C. Germann, O. Guerrero, Q. An, B. L. Holian. "Shock-induced plasticity in tantalum single crystals: Interatomic potentials and large-scale molecular-dynamics simulations", Phys. Rev. B, 88 (2013), pp. 134101.t269 V. V. Zhakhovsky, M. M. Budzevich, N. A. Inogamov, I. I. Oleynik,

C. T. White. "Two-zone elastic-plastic single shock waves in solids", Phys. Rev. Lett., 107 (2011), pp. 135502.t269

G. T. Gray III, J. C. Huang. "Influence of repeated shock loading on the substructure evolution of 99.99 wt.% aluminum", Mater. Sci. Eng. A, 145:1 (1991), pp. 21-35.t269

S. J. Fensin, S. M. Valone, E. K. Cerreta, J. P. Escobedo-Diaz, G. T. Gray III, K. Kang, J. Wang. "Effect of grain boundary structure on plastic deformation during shock compression using molecular dynamics", Modell. Simul. Mater. Sci. Eng., 21:1 (2013), 015011.t269

[92] N. Gunkelmann, E. M. Bringa, D. R. Tramontina, C. J. Ruestes, M. J. Suggit, A. Higginbotham, J. S. Wark, H. M. Urbassek. "Shock waves in polycrystalline iron: Plasticity and phase transitions", Phys. Rev. B, 89 (2014), pp. 140102. f269

[93] A. Kutvonen, G. Rossi, S. R. Puisto, N. K. Rostedt, T. Ala-Nissila. "Influence of nanoparticle size, loading, and shape on the mechanical properties of polymer nanocomposites", J. Chem. Phys., 137:21 (2012), pp. 214901. f270

[94] E. Zhuravlev, A. Wurm, P. Potschke, R. Androsch, J. W. Schmelzer, C. Schick. "Kinetics of nucleation and crystallization of poly(e-caprolactone) — multiwalled carbon nanotube composites", Eur. Polym. J., 52 (2014), pp. 1-11. f270

[95] Y. Liu, S. Kumar. "Polymer/carbon nanotube nano composite fibers — a review", ACS Appl. Mater. Interfaces, 6:9 (2014), pp. 6069-6087.f270

[96] K. Lu, N. Grossiord, C. E. Koning, H. E. Miltner, B. van Mele, J. Loos. "Carbon nanotube/isotactic polypropylene composites prepared by latex technology: morphology analysis of CNT-induced nucleation", Macromolecules, 41:21 (2008), pp. 8081-8085. f270

[97] S. Zhang, W. Lin, C.-P. Wong, D. G. Bucknall, S. Kumar. "Nanocomposites of carbon nanotube fibers prepared by polymer crystallization", ACS Appl. Mater. Interfaces, 2:6 (2010), pp. 1642-1647.f270

[98] P. E. Rouse Jr.. "A theory of the linear viscoelastic properties of dilute solutions of coiling polymers", J. Chem.. Phys., 21:7 (1953), pp. 1272-1280. f271

[99] S. J. V. Frankland, V. M. Harik, G. M. Odegard, D. W. Brenner, T. S. Gates. "The stress-strain behavior of polymer-nanotube composites from molecular dynamics simulation", Compos. Sci. Technol., 63:11 (2003), pp. 1655-1661. f271

[100] A. A. Gavrilov, A. V. Chertovich, P. G. Khalatur, A.R. Khokhlov. "Effect of nanotube size on the mechanical properties of elastomeric composites", Soft Matter, 9:15 (2013), pp. 4067-4072.f272

[101] Н. Д. Орехов, В. В. Стегайлов. «Моделирование адгезионных свойств интерфейса полиэтилен-углеродная нанотрубка», Высокомолекулярные соединения (в печати). f272

[102] D. Reith, M. Putz, F. Miiller-Plathe. "Deriving effective mesoscale potentials from atomistic simulations", J. Comp. Chem., 24:13 (2003), pp. 1624-1636. f272

[103] A. D. Koromyslova, A. O. Chugunov, R. G. Efremov. "Deciphering fine molecular details of proteins' structure and function with a protein surface topography (pst) method", J. Chem. Inf. Model., 54:4 (2014), pp. 1189-1199. f273

[104] P. V. Dubovskii, A. G. Konshina, R. G. Efremov. "Cobra cardiotoxins: Membrane interactions and pharmacological potential", Curr. Med. Chem., 21:3 (2014), pp. 270-287.t273

[105] N. A. Krylov, V. M. Pentkovsky, R. G. Efremov. "Nontrivial behavior of water in the vicinity and inside lipid bilayers as probed by molecular dynamics simulations", ACS Nano, 7:10 (2013), pp. 9428-9442. t273

[106] A. Chugunov, D. Pyrkova, D. Nolde, A. Polyansky, V. Pentkovsky, R. Efremov. "Lipid-II forms potential "landing terrain" for lantibiotics in simulated bacterial membrane", Sci. Rep., 3 (2013), pp. 1678.t273'274

[107] L. Grinberg, J. A. Insley, D. A. Fedosov, V. Morozov, M. E. Papka, G. E. Karniadakis. "Tightly coupled atomistic-continuum simulations of brain blood flow on petaflop supercomputers", Comput. Sci. Eng., 14:6 (2012), pp. 58-67. t274'276

[108] Н. И. Хохлов, И. Б. Петров, «Решение больших задач сейсмики на высокопроизводительных вычислительных системах», Тезисы докладов, НСКФ (2013).t276'281

[109] URL: http://top500.org/lists/2013/11/1276'289

[110] Вл. В. Воеводин, С. А. Жуматий, С. И. Соболев, А. С. Антонов, П. А. Брызгалов, Д. А. Никитенко, К. С. Стефанов, Вад. В. Воеводин. «Практика суперкомпьютера «Ломоносов»», Открытые системы, 7 (2012), с. 36-39. t278

[111] A. Bhatele, L. V. Kale, S. Kumar, "Dynamic Topology Aware Load Balancing Algorithms for Molecular Dynamics Applications", Proceedings of the 23rd International Conference on Supercomputing, ICS'09, ACM, 2009, pp. 110-116. t281

[112] В. В. Чуданов, С. А. Горейнов, А. Е. Аксенова, В. А. Первичко, А. А. Макаревич. «Новый метод решения CFD задач на кластерных ЭВМ петафлопсной производительности», Программные системы: теория и приложения, 5:1 (2013), с. 3-14, URL: http://psta.psiras.ru/read/psta2014_1_3-14.pdf t281'282

[113] M. Lee, N. Malaya, R. D. Moser, "Petascale direct numerical simulation of turbulent channel flow on up to 786k cores", Proceedings of the international conference on high performance computing, networking, storage and analysis, SC'13, ACM, 2013, pp. 61:1-61:11. t281'282

[114] П. А. Жиляев, В. В. Стегайлов. «Ab initio молекулярная динамика: перспективы использования многопроцессорных и гибридных суперЭВМ», Вычислительные методы и программирование, 13:2 (2012), с. 37-45. t283

[115] I. Bethune, A. Carter, X. Guo, P. Korosoglou. Million Atom KS-DFT with CP2K, PRACE White Paper, 2011. t284

[116] O. Ayala, L.-P. Wang. "Parallel implementation and scalability analysis of 3D Fast Fourier Transform using 2D domain decomposition", Parallel Computing, 39:1 (2013), pp. 58-77. t284

[117] T. Hoefler, M. Snir, "Generic Topology Mapping Strategies for Large-scale Parallel Architectures", Proceedings of the International Conference on Supercomputing, ICS'11, ACM, 2011, pp. 75-84.f285

[118] ExaScale Computing Study: Technology Challenges in Achieving Exascale Systems, DARPA Inf. Processing Techn. Office, 2008, URL: http://www.cse.nd.edu/Reports/2008/TR-2008-13.pdf f285

[119] B. Obama. Creating a National Strategic Computing Initiative, Executive Order, July 29, 2015, URL: https://www.whitehouse.gov/ the-press-office/2015/07/29/executive-order-creating-national-strategic- computing- initiative f286

[120] С.С. Андреев, С. А. Дбар, А. О. Лацис, Е. А. Плоткина, «Макет гибридной реконфигурируемой вычислительной системы и реализация на нем вычислений с повышенной точностью», Тезисы докладов, НСКФ (2013). f289

[121] Н. Шаталова. «По полной программе. Суперкомпьютерам добавят эффективности», Газета «Поиск», 2015, №15.f290

Об авторах:

Генри Эдгарович Норман

Доктор физико-математических наук, главный научный сотрудник ОИВТ РАН, профессор кафедры физики высокотемпературных процессов МФТИ, Соросовский профессор 1997 и 1998 г., гранты Москвы «Профессор—2002, 2004, 2005»

e-mail: [email protected]

Никита Дмитриевич Орехов

Младший научный сотрудник ОИВТ РАН, аспирант МФТИ, лауреат медали РАН с премией для студентов вузов России 2014 г. Область научных интересов: физика твердого тела, молекулярная динамика, полимерные нанокомпозиты, углеродные наночастицы, высокопроизводительные вычислительные системы

e-mail: [email protected]

Василий Вячеславович Писарев

Кандидат физико-математических наук, старший научный сотрудник ОИВТ РАН, ассистент кафедр молекулярной и биохимической физики и физики высокотемпературных процессов МФТИ, лауреат медали РАН с премией для студентов вузов России 2011 г.

e-mail: [email protected]

Григорий Сергеевич Смирнов

Младший научный сотрудник ОИВТ РАН, аспирант МФТИ, лауреат медали РАН с премией для студентов вузов России 2013 г. Область научных интересов: молекулярная динамика, теория функционала плотности, высокопроизводительные вычислительные системы, газовые гидраты

e-mail: [email protected]

Сергей Валерьевич Стариков

Кандидат физико-математических наук, заведующий лабораторией ОИВТ РАН, ассистент кафедры физики высокотемпературных процессов МФТИ, лауреат гранта Президента РФ для молодых учёных-кандидатов наук 2012 и 2015 гг.

e-mail: [email protected]

Владимир Владимирович Стегайлов

Доктор физико-математических наук, заведующий отделом ОИВТ РАН, заместитель заведующего кафедры физики высокотемпературных процессов МФТИ, лауреат медали РАН с премией для студентов вузов России 2004 г., лауреат гранта Президента РФ для молодых учёных-кандидатов наук 2007 и 2010 гг.

e-mail: [email protected]

Алексей Витальевич Янилкин

Кандидат физико-математических наук, начальник лаборатории ВНИИА им. Н. Л. Духова, ассистент кафедр молекулярной и биохимической физики и физики высокотемпературных процессов МФТИ, лауреат медали РАН с премией для студентов вузов России 2005 г.

e-mail: [email protected]

Пример ссылки на эту публикацию:

Э. Норман, Н. Д. Орехов, В. В. Писарев, Г. С. Смирнов и др. «Зачем и какие суперкомпьютеры экзафлопсного класса нужны в естественных науках», Программные системы: теория и приложения, 2015, 6:4(27), с. 243-311. URL: http://psta.psiras.ru/read/psta2015_4_243-311.pdf

Genri Norman, Nikita Orekhov, Vasily Pisarev, Grigory Smirnov, Sergey Starikov, Vladimir Stegailov, Alexey Yanilkin. What for and which exaflops supercomputers are necessary in natural sciences.

Abstract. An approach is developed which permits to expose tasks which need supercomputers to be solved. Near future pre-exaflops supercomputers are included. The approach potential is shown for examples of topical tasks in mechanics, physics, chemistry and biology. Both atomistic modeling & simulation and mechanics of continua are treated. Torus topology advantages are demonstrated. Recommendations are suggested for procedures of design selection of new supercomputers which are planned. (In Russian).

Key Words and Phrases: atomistic modeling, electronic structure, molecular dynamics, multiscale modelling, radiation aging, laser ablation, nucleation, polymers, electrochemistry, parallel efficiency.

References

[1] IBM Journal of Research and Development, 2005, URL: http://www.research. ibm.com/journal/rd49-23.html

[2] INCITE program, URL: http://www.doeleadershipcomputing.org/

[3] V. V. Stegaylov, G. E. Norman. "Challenges to the supercomputer development in Russia: a HPC user perspective", Programmnyye sistemy: teoriya i prilozheniya, 5:1 (2014), pp. 111—152 (in Russian), URL: http://psta.psiras.ru/read/psta2014_1_111-152.pdf

[4] G. E. Norman, V. V. Stegaylov. "Stochastic theory of the classical molecular dynamics method", Mathematical Models and Computer Simulations, 5:4 (2013), pp. 305-333.

[5] A. V. Yanilkin, P. A. Zhilyayev, A. Yu. Kuksin, G.E. Norman, V. V. Pisarev, V. V. Stegaylov. "Application of supercomputers for the molecular dynamics simulation of processes in condensed matter", Numerical methods and Programming, 11 (2010), pp. 111-116 (in Russian).

[6] Z. A. Insepov, E. M. Karatajev, G. E. Norman. "The kinetics of condensation behind the shock front", Zeitschrift fur Phys. D Atoms, Mol. Clust., 20:1-4 (1991), pp. 449-451.

[7] J.M. Savolainen, M.S. Christensen, P. Balling. "Material swelling as the first step in the ablation of metals by ultrashort laser pulses", Phys. Rev. B, 84 (2011), 193410.

[8] A. A. Ionin, S.I. Kudryashov, A. Ye. Ligachev, S.V. Makarov, L. V. Seleznev, D. V. Sinitsyn. "Nanoscale cavitation instability of the surface melt along the grooves of one-dimensional nanorelief gratings on an aluminum surface", JETP Letters, 94:4 (2011), pp. 266-269.

[9] M. Ishino, A. Y. Faenov, M. Tanaka, S. Tamotsu, N. Hasegawa, M. Nishikino, T. A. Pikuz, T. Kaihori, T. Kawachi. "Observations of surface modifications induced by the multiple pulse irradiation using a soft picosecond x-ray laser beam", Appl. Phys. A, 110 (2012), pp. 179-188.

© G. E. Norman, N. D. Orekhov, V. V. Pisarev, G. S. Smirnov, S. V. Starikov, V. V. Stegailov, A. V. Yanilkin, 2015

© Joint Institute for High Temperatures of the Russian Academy of Sciences, 2015 © Program systems: Theory and Applications, 2015

[10] S. I. Ashitkov, N. A. Inogamov, V. V. Zhakhovskiy, Yu. N. Emirov, M. B. Agranat, 1.1. Oleynik, S. I. Anisimov, V. Ye. Fortov. "Formation of nanocavities in the surface layer of an aluminum target irradiated by a femtosecond laser pulse", JETP Letters, 95:4 (2012), pp. 176-181.

[11] V.I. Yemel'yanov, D.A. Zayarnyy, A. A. Ionin, I.V. Kiseleva, S.I. Kudryashov, S. V. Makarov, Ch. T. Nguyen, A. A. Rudenko. "Nanoscale hydrodynamic instability in a molten thin gold film induced by femtosecond laser ablation", JETP Letters, 99:9 (2014), pp. 518-522.

[12] M.E. Povarnitsyn, T. E. Itina, M. Sentis, K.V. Khishchenko, P. R. Levashov. "Material decomposition mechanisms in femtosecond laser interactions with metals", Phys. Rev. B, 75:23 (2007), 235414.

[13] N. A. Inogamov, V. V. Zhakhovskii, S. I. Ashitkov, V. A. Khokhlov, Yu. V. Petrov, P. S. Komarov, M.B. Agranat, S.I. Anisimov, K. Nishihara. "Two-temperature relaxation and melting after absorption of femtosecond laser pulse", Appl. Surf. Sci., 255:24 (2009), pp. 9712-9716.

[14] S. V. Starikov, V. V. Stegaylov, G. E. Norman, V. Ye. Fortov, M. Ishino, M. Tanaka, N. Khasegava, M. Nishikino, T. Okhba, T. Kaikhori, Ye. Ochi, T. Imazono, T. Kavachi, S. Tamot-su, T.A. Pikuz, I.Yu. Skobelev, A. Ya. Fayenov. "Laser ablation of gold: Experiment and atomistic simulation", JETP Letters, 93:11 (2011), pp. 642-647.

[15] A. V. Mazhukin, V.I. Mazhukin, M.M. Demin. "Modeling of femtosecond ablation of aluminum film with single laser pulses", Appl.. Surf. Sci., 257 (2011), pp. 5443-5446.

[16] G. E. Norman, S. V. Starikov, V. V. Stegaylov. "Atomistic simulation of laser ablation of gold: Effect of pressure relaxation", JETP, 114:5 (2012), pp. 910-918.

[17] G. Norman, S. Starikov, V. Stegailov, V. Fortov, I. Skobelev, T. Pikuz, A. Faenov, S. Tamotsu, Y. Kato, M. Ishino, M. Tanaka, N. Hasegawa, M. Nishikino, T. Ohba, T. Kaihori, Y. Ochi, T. Imazono, Y. Fukuda, M. Kando, T. Kawachi. "Nanomodification of gold surface by picosecond soft x-ray laser pulse", J. Appl. Phys., 112:1 (2012), 013104.

[18] M. E. Povarnitsyn, T. E. Itina, P. R. Levashov, K. V. Khishchenko. "Mechanisms of nanoparticle formation by ultra-short laser ablation of metals in liquid environment", Phys. Chem. Chem. Phys., 15 (2013), pp. 3108-3114.

[19] N. A. Inogamov, V. V. Zhakhovsky, Yu. V. Petrov, V. A. Khokhlov, S.I. Ashitkov, K.V. Khishchenko, K. P. Migdal, D.K. Ilnitsky, Yu. N. Emirov, P. S. Komarov, V. V. Shepelev, C.W. Miller, I.I. Oleynik, M.B. Agranat, A. V. Andriyash, S. I. Anisimov, V. E. Fortov. "Electron-ion relaxation, phase transitions, and surface nano-structuring produced by ultrashort laser pulses in metals", Contrib. to Plasma Phys., 53:10 (2013), pp. 796-810.

[20] G. E. Norman, S. V. Starikov, V. V. Stegailov, I. M. Saitov, P. A. Zhilyaev. "Atomistic Modeling of Warm Dense Matter in the Two-Temperature State", Contrib. to Plasma Phys., 53:2 (2013), pp. 129-139.

[21] J. Vincenc Obona, V. Ocelik, J. C. Rao, J. Z. P. Skolski, G.R. B.E. Romer, A.J. Huis in 't Veld, J.Th. M. De Hosson. "Modification of Cu surface with picosecond laser pulses", Appl. Surf. ¡Science, 303 ( 2014), pp. 118-124.

[22] S. V. Starikov, A. Ya. Faenov, T. A. Pikuz, I. Yu. Skobelev, V. E. Fortov, S. Tamotsu, Y. Kato, M. Ishino, M. Tanaka, N. Hasegawa, M. Nishikino, T. Ohba, T. Kaihori, Y. Ochi, T. Imazono, T. Kawachi. "Soft picosecond X-ray laser nanomodification of gold and aluminum surfaces", Appl. Phys. B: Lasers and Optics, 116:4 (2014), pp. 1005-1016.

[23] D. S. Ivanov, A. I. Kuznetsov, V. P. Lipp, B. Rethfeld, B. N. Chichkov, M. E. Garcia, W. Schulz. "Short laser pulse nanostructuring of metals: direct comparison of molecular dynamics modeling and experiment", Appl. Phys. A, 111 (2013), pp. 675-687.

[24] C. Wu, L. V. Zhigilei. "Microscopic mechanisms of laser spallation and ablation of metal targets from large-scale molecular dynamics simulations", Appl. Phys. A, 114 (2014), pp. 11-32.

[25] Z. Insepov, J. Rest, A. M. Yacout, A. Yu. Kuksin, G. E. Norman, V. V. Stegailov, S. V. Starikov, A. V. Yanilkin. "Derivation of kinetic coefficients by atomistic methods for studying defect behavior in Mo", J. Nucl. Mat., 425:1-3 (2012), pp. 41-47.

[26] M. S. Veshchunov, A. V. Boldyrev, V. D. Ozrin, V. E. Shestak, V. I. Tarasov, G. E. Norman, A. Yu. Kuksin, V. V. Pisarev, D. E. Smirnova, S. V. Starikov, V. V. Stegailov, A. V. Yanilkin, "Development of the Mechanistic Fuel Performance and Safety Code SFPR Using the Multi-Scale Approach", TMS2013 Supplemental Proceedings, John Wiley & Sons, Inc., 2013, pp. 655-664.

[27] S.V. Starikov, Z. Insepov, J. Rest, A. Yu. Kuksin, G.E. Norman, V. V. Stegailov, A. V. Yanilkin. "Radiation-induced damage and evolution of defects in Mo", Phys. Rev. B, 84:10 ( 2011), pp. 104109.

[28] H. Matzke. "Radiation damage in crystalline insulators, oxides and ceramic nuclear fuels", Radiation effects, 64 (1982), pp. 3-33.

[29] S. V. Starikov. "Atomistic simulation of the process of defect formation in uranium dioxide during fission fragments flying through", High Temperature, 53:1 (2015), pp. 55-61.

[30] D.E. Smirnova, S.V. Starikov, V.V. Stegailov. "Interatomic potential for uranium in a wide range of pressures and temperatures", J. Phys. Condens. Matter, 24:1 (2012), 015702.

[31] D.E. Smirnova, A. Yu. Kuksin, S.V. Starikov, V.V. Stegailov, Z. Insepov, J. Rest, A. M. Yacout. "A ternary EAM interatomic potential for U-Mo alloys with xenon", Model. Simul. Mater. Sci. Eng., 21:3 (2013), 035011.

[32] H. Matzke. "Atomic transport properties in UO2 and mixed oxides (U,Pu)O2", J. Chem. Soc., Faraday Trans. 2, 83:7 (1987), pp. 1121-1142.

[33] A. Yu. Kuksin, D. Ye. Smirnova. "Calculation of diffusion coefficients of defects and ions in UO2", Physics of the Solid State, 56:6 (2014), pp. 1214-1223.

[34] V. G. Baranov, A. V. Lunev, A. V. Tenishev, A. V. Khlunov. "Interaction of dislocations in UO2 during high burn-up structure formation", J. Nucl. Mater., 444:1-3 ( 2014), pp. 129-137.

[35] I. L. F. Ray, Hj. Matzke, H.A. Thiele, M. Kinoshita. "An electron microscopy study of the RIM structure of a UO2 fuel with a high burnup of 7.9% FIMA", J. Nucl. Mater., 245:2-3 (1997), pp. 115-123.

[36] I. Zacharie, S. Lansiart, P. Combette, M. Trotabas, M. Coster, M. Groos. "Thermal treatment of uranium oxide irradiated in pressurized water reactor: Swelling and release of fission gases", J. Nucl. Mater., 255:2—3 (1998), pp. 85—91.

[37] A.Yu. Kuksin, G. E. Norman, V. V. Pisarev, V. V. Stegailov, A. V. Yanilkin. "Theory and molecular dynamics modeling of spall fracture in liquids", Phys. Rev. B, 82:17 (2010), pp. 174101.

[38] Z.-J. Wang, C. Valeriani, D. Frenkel. "Homogeneous bubble nucleation driven by local hot spots: a molecular dynamics study", J. Phys. Chem. B, 113:12 (2009), pp. 3776-3784.

[39] J. W. P. Schmelzer. "Crystal nucleation and growth in glass-forming melts: Experiment and theory", J. Non. Cryst. Solids, 354:2-9 (2008), pp. 269-278.

[40] A.Yu. Kuksin, I.V. Morozov, G. E. Norman, V. V. Stegailov, I. A. Valuev. "Standards for molecular dynamics modelling and simulation of relaxation", Mol. Simul., 31:14-15 (2005), pp. 1005-1017.

[41] G. E. Norman, V. V. Stegaylov. "Homogeneous Nucleation in a Superheated Crystal. Molecular-Dynamic Simulation", Doklady Physics, 47:9 (2002), pp. 667-671.

[42] T.T. Bazhirov, G.E. Norman, V.V. Stegailov. "Molecular dynamics simulation of cavitation in a lead melt at negative pressures", Russ. J. Phys. Chem., 80:S1 (2006), pp. S90-S97.

[43] D. K. Belashchenko. "Molecular Dynamics Simulation of the Homogeneous Crystallization of Liquid Rubidium", Russ. J. Phys. Chem., 80:12 (2006), pp. 1968-1979.

[44] F. Trudu, D. Donadio, M. Parrinello. "Freezing of a Lennard-Jones fluid: from nucleation to spinodal regime", Phys. Rev. Lett., 97 (2006), pp. 105701.

[45] D.K. Belashchenko, O.I. Ostrovskiy. "A Molecular Dynamics Study of Nickel Crystallization at Strong Supercoolings", Russ. J. Phys. Chem., 82:3 (2008), pp. 364-375.

[46] J. Diemand, R. Angelil, K. K. Tanaka, H. Tanaka. "Large scale molecular dynamics simulations of homogeneous nucleation", J. Chem. Phys., 139:7 (2013), 074309.

[47] S. Sinha, A. Bhabhe, H. Laksmono, J. Wolk, R. Strey, B. Wyslouzil. "Argon nucleation in a cryogenic supersonic nozzle", J. Chem. Phys., 132:6 (2010), 064304.

[48] A. Yu. Kuksin, A. V. Yanilkin. "Kinetic model of fracture at high strain rates in the example of crystalline aluminum", Doklady Physics, 52:4 (2007), pp. 186-190.

[49] D. E. Grady. "The spall strength of condensed matter", J. Mech. Phys. Solids, 36:3 (1988), pp. 353-384.

[50] A. V. Utkin, V. A. Sosikov, A. A. Bogach. "Impul'snoye rastyazheniye geksana i glitserina pri udarno-volnovom vozdeystvii", Journal of Applied Mechanics and Technical Physics, 44:2 (2003), pp. 174-179.

[51] A. Yu. Kuksin, P. R. Levashov, V. V. Pisarev, M. E. Povarnitsyn, A. V. Yanilkin, A. S. Zakharenkov, "Model of fracture of liquid aluminum based on atomistic simulations", Physics of Extreme States of Matter-2011, eds. Fortov V. E., et al., IPCP RAS, Chernogolovka, 2011, pp. 57-59.

[52] D. Rossinelli, B. Hejazialhosseini, P. Hadjidoukas, C. Bekas, A. Curioni, A. Bertsch, S. Futral, S. J. Schmidt, N. A. Adams, P. Koumoutsakos, "11 PFLOP/s Simulations of Cloud Cavitation Collapse", Proceedings of SC13: International Conference for

High Performance Computing, Networking, Storage and Analysis, ACM, 2013, pp. 3:1-3:13.

[53] V. V. Pisarev. "Determination of free energy of the crystal-melt interface", High Temperature, 50:6 (2012), pp. 717-721.

[54] P. P. Gillis, J.J. Gilman. "Dynamical dislocation theory of crystal plasticity. I: The yield stress", J. Appl. Phys., 36:11 (1965), pp. 3370-3380.

[55] M. Hiratani, E. M. Nadgorny. "Combined model of dislocation motion with thermally activated and drag-dependent stages", Acta Materialia, 49:20 (2001), pp. 4337-4346.

[56] J. N. Johnson, O. E. Jones, T. E. Michaels. "Dislocation dynamics and singlecrystal constitutive relations: Shockwave propagation and precursor decay", J. Appl. Phys., 41:6 (1970), pp. 2330-2339.

[57] O. E. Jones, J. D. Mote. "Shockinduced dynamic yielding in copper single crystals", J. Appl. Phys., 40:12 (1969), pp. 4920-4928.

[58] J.M. Winey, Y. M. Gupta. "Nonlinear anisotropic description for the thermomechanical response of shocked single crystals: Inelastic deformation", J. Appl. Phys., 99:2 (2006), 023510.

[59] R. A. Austin, D. L. McDowell. "A dislocation-based constitutive model for viscoplastic deformation of fcc metals at very high strain rates", Int. J. Plast., 27:1 (2011), pp. 1-24.

[60] N. R. Barton, J. V. Bernier, R. Becker, A. Arsenlis, R. Cavallo, J. Marian, M. Rhee, H.-S. Park, B. A. Remington, R. T. Olson. "A multiscale strength model for extreme loading conditions", J. Appl. Phys., 109:7 (2011), 073501.

[61] J. L. Ding, J. R. Asay, T. Ao. "Modeling of the elastic precursor behavior and dynamic inelasticity of tantalum under ramp wave loading to 17 GPa", J. Appl. Phys., 107:8 (2010), 083508.

[62] S. Groh, E. B. Marin, M.F. Horstemeyer, H.M. Zbib. "Multiscale modeling of the plasticity in an aluminum single crystal", Int. J. Plast., 25:8 (2009), pp. 1456-1473.

[63] B. L. Hansen, I. J. Beyerlein, C. A. Bronkhorst, E. K. Cerreta, D. Dennis-Koller. "A dislocation-based multi-rate single crystal plasticity model", Int. J. Plast., 44 (2013), pp. 129-146.

[64] A. V. Yanilkin, V. S. Krasnikov, A. Yu. Kuksin, A. E. Mayer. "Dynamics and kinetics of dislocations in Al and Al-Cu alloy under dynamic loading", Int. J. Plast., 55 (2014), pp. 94-107.

[65] G. E. Norman, A. V. Yanilkin. "Homogeneous nucleation of dislocations", Physics of the Solid State, 53:8 (2011), pp. 1614-1619.

[66] M. A. Tschopp, D.E. Spearot, D.L. McDowell. "Atomistic simulations of homogeneous dislocation nucleation in single crystal copper", Modell. Simul. Mater. Sci. Eng., 15:7 (2007), pp. 693.

[67] T. Zhu, J. Li, A. Samanta, A. Leach, K. Gall. "Temperature and strain-rate dependence of surface dislocation nucleation", Phys. Rev. Lett., 100 (2008), 025502.

[68] D. Mordehai, Y. Ashkenazy, I. Kelson, G. Makov. "Dynamic properties of screw dislocations in CU: a molecular dynamics study", Phys. Rev. B, 67 (2003), 024112.

[69] Y. N. Osetsky, D. J. Bacon. "An atomic-level model for studying the dynamics of edge dislocations in metals", Modell. Simul. Mater. Sci. Eng., 11:4 (2003), pp. 427.

[70] D.L. Olmsted, L. G. Hector (Jr.), W.A. Curtin, R.J. Clifton. "Atomistic simulations of dislocation mobility in Al, Ni and Al/Mg alloys", Modell. Simul. Mater. Sci. Eng., 13:3 (2005), pp. 371.

[71] A. Yu. Kuksin, A. V. Yanilkin. "Atomistic simulation of the motion of dislocations in metals under phonon drag conditions", Physics of the Solid State, 55:5 (2013), pp. 1010-1019.

[72] A. Yu. Kuksin, V. V. Stegaylov, A. V. Yanilkin. "Molecular-dynamics simulation of edge-dislocation dynamics in aluminum", Doklady Physics, 53:6 (2008), pp. 287-291.

[73] J. A. Gorman, D. S. Wood, T. Vreeland. "Mobility of dislocations in aluminum", J. Appl. Phys., 40:2 (1969), pp. 833-841.

[74] A. Hikata, R. A. Johnson, C. Elbaum. "Interaction of dislocations with electrons and with phonons", Phys. Rev. B, 2 (1970), pp. 4856-4863.

[75] V. S. Krasnikov, A. Yu. Kuksin, A. Ye. Mayyer, A. V. Yanilkin. "Plastic deformation under high-rate loading: The multiscale approach", Physics of the Solid State, 52:7 (2010), pp. 1386-1396.

[76] V. S. Krasnikov, A. E. Mayer, A. P. Yalovets. "Dislocation based high-rate plasticity model and its application to plate-impact and ultra short electron irradiation simulations", Int. J. Plast., 27:8 (2011), pp. 1294-1308.

[77] S.V. Razorenov, G.I. Kanel', V. Ye. Fortov. "Submicrosecond strength of aluminum and an aluminum-magnesium alloy amg6m at normal and enhanced temperatures91", The Physics of Metals and Metallography, 95:1 (2003), pp. 86-91.

[78] G. I. Kanel, S. V. Razorenov, K. Baumung, J. Singer. "Dynamic yield and tensile strength of aluminum single crystals at temperatures up to the melting point", J. Appl. Phys., 90:1 (2001), pp. 136-143.

[79] A. Yu. Kuksin, V. V. Stegaylov, A. V. Yanilkin. "Atomistic simulation of plasticity and fracture of nanocrystalline copper under high-rate tension", Physics of the Solid State, 50:11 (2008), pp. 2069-2075.

[80] J. Schiotz, K.W. Jacobsen. "A maximum in the strength of nanocrystalline copper", Science, 301:5638 (2003), pp. 1357-1359.

[81] D. J. Bacon, Y. N. Osetsky. "Dislocation-Obstacle Interactions at Atomic Level in Irradiated Metals", Mathematics and Mechanics of Solids, 14:1-2 (2009), pp. 270-283.

[82] G. Monnet. "Mechanical and energetical analysis of molecular dynamics simulations of dislocation-defect interactions", Acta Materialia, 55:15 (2007), pp. 5081-5088.

[83] C. V. Singh, D. H. Warner. "Mechanisms of Guinier-Preston zone hardening in the athermal limit", Acta Materialia, 58:17 (2010), pp. 5797-5805.

[84] B. Cao, E. M. Bringa, M. A. Meyers. "Shock compression of monocrystalline copper: Atomistic simulations", Metall. Mater. Trans. A, 38:11 (2007), pp. 2681-2688.

[85] P. A. Zhilyayev, A. Yu. Kuksin, V. V. Stegaylov, A. V. Yanilkin. "Influence of plastic deformation on fracture of an aluminum single crystal under shock-wave loading", Physics of the Solid State, 52:8 (2010), pp. 1619-1624.

[86] R. W. Siegel, G. E. Fougere. "Mechanical properties of nanophase metals", Nanostruct. Mater., 6:1-4 (1995), pp. 205-216.

[87] B. L. Holian, P. S. Lomdahl. "Plasticity induced by shock waves in nonequilibrium molecular-dynamics simulations", Science, 280:5372 (1998), pp. 2085-2088.

[88] R. Ravelo, T. C. Germann, O. Guerrero, Q. An, B.L. Holian. "Shock-induced plasticity in tantalum single crystals: Interatomic potentials and large-scale molecular-dynamics simulations", Phys. Rev. B, 88 (2013), pp. 134101.

[89] V. V. Zhakhovsky, M. M. Budzevich, N. A. Inogamov, I. I. Oleynik, C. T. White. "Two-zone elastic-plastic single shock waves in solids", Phys. Rev. Lett, 107 (2011), pp. 135502.

[90] G.T. Gray III, J.C. Huang. "Influence of repeated shock loading on the substructure evolution of 99.99 wt.% aluminum", Mater. Sci. Eng. A, 145:1 (1991), pp. 21-35.

[91] S.J. Fensin, S.M. Valone, E. K. Cerreta, J. P. Escobedo-Diaz, G.T. Gray III, K. Kang, J. Wang. "Effect of grain boundary structure on plastic deformation during shock compression using molecular dynamics", Modell. Simul. Mater. Sci. Eng., 21:1 (2013), 015011.

[92] N. Gunkelmann, E. M. Bringa, D. R. Tramontina, C. J. Ruestes, M. J. Suggit, A. Higginbotham, J. S. Wark, H. M. Urbassek. "Shock waves in polycrystalline iron: Plasticity and phase transitions", Phys. Rev. B, 89 (2014), pp. 140102.

[93] A. Kutvonen, G. Rossi, S. R. Puisto, N. K. Rostedt, T. Ala-Nissila. "Influence of nanoparticle size, loading, and shape on the mechanical properties of polymer nanocomposites", J. Chem. Phys., 137:21 (2012), pp. 214901.

[94] E. Zhuravlev, A. Wurm, P. Potschke, R. Androsch, J.W. Schmelzer, C. Schick. "Kinetics of nucleation and crystallization of poly(e-caprolactone) — multiwalled carbon nanotube composites", Eur. Polym. J., 52 (2014), pp. 1-11.

[95] Y. Liu, S. Kumar. "Polymer/carbon nanotube nano composite fibers — a review", ACS Appl. Mater. Interfaces, 6:9 (2014), pp. 6069-6087.

[96] K. Lu, N. Grossiord, C. E. Koning, H. E. Miltner, B. van Mele, J. Loos. "Carbon nanotube/isotactic polypropylene composites prepared by latex technology: morphology analysis of CNT-induced nucleation", Macromolecules, 41:21 (2008), pp. 8081-8085.

[97] S. Zhang, W. Lin, C.-P. Wong, D.G. Bucknall, S. Kumar. "Nanocomposites of carbon nanotube fibers prepared by polymer crystallization", ACS Appl. Mater. Interfaces, 2:6 (2010), pp. 1642-1647.

[98] P. E. Rouse Jr.. "A theory of the linear viscoelastic properties of dilute solutions of coiling polymers", J. Chem. Phys., 21:7 (1953), pp. 1272-1280.

[99] S. J. V. Frankland, V.M. Harik, G.M. Odegard, D.W. Brenner, T.S. Gates. "The stress-strain behavior of polymer-nanotube composites from molecular dynamics simulation", Compos. Sci. Technol., 63:11 (2003), pp. 1655-1661.

[100] A. A. Gavrilov, A. V. Chertovich, P. G. Khalatur, A. R. Khokhlov. "Effect of nanotube size on the mechanical properties of elastomeric composites", Soft Matter, 9:15 (2013), pp. 4067-4072.

[101] N. D. Orekhov, V. V. Stegaylov. "Modelirovaniye adgezionnykh svoystv interfeysa polietilen-uglerodnaya nanotrubka", Polymer Science (to appear).

[102] D. Reith, M. Putz, F. Miiller-Plathe. "Deriving effective mesoscale potentials from atomistic simulations", J. Comp. Chem., 24:13 (2003), pp. 1624-1636.

[103] A. D. Koromyslova, A. O. Chugunov, R. G. Efremov. "Deciphering fine molecular details of proteins' structure and function with a protein surface topography (pst) method", J. Chem. Inf. Model., 54:4 ( 2014), pp. 1189-1199.

[104] P. V. Dubovskii, A. G. Konshina, R. G. Efremov. "Cobra cardiotoxins: Membrane interactions and pharmacological potential", Curr. Med. Chem., 21:3 (2014), pp. 270-287.

[105] N. A. Krylov, V. M. Pentkovsky, R. G. Efremov. "Nontrivial behavior of water in the vicinity and inside lipid bilayers as probed by molecular dynamics simulations", ACS Nano, 7:10 (2013), pp. 9428-9442.

[106] A. Chugunov, D. Pyrkova, D. Nolde, A. Polyansky, V. Pentkovsky, R. Efremov. "Lipid-II forms potential "landing terrain" for lantibiotics in simulated bacterial membrane", Sci. Rep., 3 (2013), pp. 1678.

[107] L. Grinberg, J. A. Insley, D. A. Fedosov, V. Morozov, M. E. Papka, G. E. Karniadakis. "Tightly coupled atomistic-continuum simulations of brain blood flow on petaflop supercomputers", Comput. Sci. Eng., 14:6 (2012), pp. 58-67.

[108] N. I. Khokhlov, I. B. Petrov, "Solution of large-scale seismicity problems at high performance supercomputers", Tezisy dokladov, NSKF (2013) (in Russian).

[109] URL: http://top500.org/lists/2013/11/

[110] Vl. V. Voyevodin, S. A. Zhumatiy, S. I. Sobolev, A. S. Antonov, P. A. Bryzgalov, D. A. Nikitenko, K. S. Stefanov, Vad.V. Voyevodin. "Practice of Using the Lomonosov Supercomputer", Open Systems, 2012, no.7, pp. 36-39 (in Russian).

[111] A. Bhatele, L. V. Kale, S. Kumar, "Dynamic Topology Aware Load Balancing Algorithms for Molecular Dynamics Applications", Proceedings of the 23rd International Conference on Supercomputing, ICS'09, ACM, 2009, pp. 110-116.

[112] V. V. Chudanov, S. A. Goreynov, A. Ye. Aksenova, V. A. Pervichko, A. A. Makarevich. "New method for solving of CFD problems at clustered computers petascale performance", Programmnyye sistemy: teoriya i prilozheniya, 5:1 (2013), pp. 3-14 (in Russian), URL: http://psta.psiras.ru/read/psta2014_1_3-14.pdf

[113] M. Lee, N. Malaya, R. D. Moser, "Petascale direct numerical simulation of turbulent channel flow on up to 786k cores", Proceedings of the international conference on high performance computing, networking, storage and analysis, SC'13, ACM, 2013, pp. 61:1-61:11.

[114] P. A. Zhilyayev, V. V. Stegaylov. "Parallelization technology for solving multiparameter inverse problems of chemical kinetics", Numerical Methods and Programming, 13:2 (2012), pp. 37-45 (in Russian).

[115] I. Bethune, A. Carter, X. Guo, P. Korosoglou. Million Atom KS-DFT with CP2K, PRACE White Paper, 2011.

[116] O. Ayala, L.-P. Wang. "Parallel implementation and scalability analysis of 3D Fast Fourier Transform using 2D domain decomposition", Parallel Computing, 39:1 (2013), pp. 58-77.

[117] T. Hoefler, M. Snir, "Generic Topology Mapping Strategies for Large-scale Parallel Architectures", Proceedings of the International Conference on Supercomputing, ICS'11, ACM, 2011, pp. 75-84.

[118] ExaScale Computing Study: Technology Challenges in Achieving Exascale Systems, DARPA Inf. Processing Techn. Office, 2008, URL: http: //www.cse.nd.edu/Reports/2008/TR-2008-13.pdf

[119] B. Obama. Creating a National Strategic Computing Initiative, Executive Order, July 29, 2015, URL: https://www.whitehouse.gov/the-press-office/2015/07/ 29/executive-order-creating-national-strategic-computing-initiative

[120] S. S. Andreyev, S.A. Dbar, A. O. Latsis, Ye.A. Plotkina, "Prototype of configurable computing system and use of it for computations with extended precision", Tezisy dokladov, NSKF (2013) (in Russian). [121] N. Shatalova. "At full scale. Efficiency is added to supercomputers", Gazeta "Poisk", 2015, no.15 (in Russian).

Sample citation of this publication:

Genri Norman, Nikita Orekhov, Vasily Pisarev, Grigory Smirnov, Sergey Starikov, Vladimir Stegailov, Alexey Yanilkin. "What for and which exaflops supercomputers are necessary in natural sciences", Program systems: theory and applications, 2015, 6:4(27), pp. 243-311. (In Russian).

URL: http://psta.psiras.ru/read/psta2015_4_243-311.pdf