CC BY
105
ХИМИЯ
УДК 544.183:004.272
И. В. Аристов, А. Г. Шамов
ПАРАЛЛЕЛИЗАЦИЯ В КВАНТОВО-ХИМИЧЕСКИХ РАСЧЕТАХ И ОПТИМИЗАЦИЯ ИСПОЛЬЗУЕМЫХ РЕСУРСОВ ПРОГРАММНО-АППАРАТНЫХ КОМПЛЕКСОВ НА ПРИМЕРЕ ПРОГРАММЫ «GAUSSIAN 09»
Ключевые слова: квантовая химия, паралеллизация вычислений, оптимизация использования процессорного времени.
Проведено исследование зависимости времени квантово-химического расчета от числа задействованных вычислительных ядер центрального процессора и его архитектуры. Приведены общие рекомендации по повышению эффективности использования процессорного времени.
Keywords: quantum chemistry, parallel computing, optimization of CPU time.
The study depending vremenikvantovo chemical calculations of the number of involved-you numerals CPU cores and its architecture. These are general guidelines for the higher-in the effective use of CPU time.
Основанная на теореме Кона-Шэма [1] теория функционала плотности (ОРТ) позволила в 90-годы прошлого века создать эффективные и достаточно точные гибридные методы, сочетающие достоинства ББТ и метода Хартри-Фока, среди которых наибольшее распространение получил Б3ЬУР [2-4], включенный практически во все коммерческие и свободные квантово-химические программы. В обзоре Певерати и Трулара [5] год создания БЗЬУР (1993) отмечен как веха, поделившая историю развития методов ББТ на две части - все, что было до него, имеет скорее исторический интерес, поскольку БЗЬУР оказался втрое точнее, чем любой из методов ББТ, созданных до 1990 года. И потребовалось еще 15 лет, чтобы разработать новые методы ББТ, которые позволяют рассчитывать энергетические характеристики молекул в полтора раза точнее, чем БЗЬУР. В лучших из них средние беззнаковые ошибки на тестовом наборе из СЕ345 (345 энергетических характеристик для различных атомов и молекул) меньше, чем 3 ккал/моль [5]. Ошибка измерения энергии активации термического распада нитросоединений оценивается экспериментаторами в 2-3 ккал/моль [6]. Таким образом, по крайней мере, для газофазных процессов точность расчета и эксперимента стали сопоставимы, и степень доверия экспериментаторов к результатам теоретических исследований существенно возросла [7].
Аналитические первые и вторые производные энергии, реализованные для большинства методов ББР, позволяют рассчитывать не только стационарные точки на поверхности потенциальной энергии (минимумы и переходные состояния), но и связывающие их пути реакций. Таким образом, химики получили в свои руки уникальный инструмент для исследования механизмов химических процессов. Если в 70-80 годы прошлого века подобные расчеты выполняло небольшое число исследователей, специализирующихся в области квантовой химии, то теперь практически каждый химик может купить коммерческий или получить бесплатный программный продукт и попытаться решить интересующую его химическую задачу, не вникая в детали используемых методов и алгоритмов. И полу-
чить при этом результаты, которые недоступны никаким экспериментальным методам исследования, например, «увидеть» структуры переходных состояний молекул (время их жизни составляет 10-11 - 10-13 секунды - слишком мало для определения геометрических параметров молекулы).
Вторым важным фактором, обеспечившим широкое распространение квантово-химических расчетов в девяностые годы, стал рост производительности персональных компьютеров. Если в восьмидесятые годы исследователю механизмов химических реакций требовался доступ к мощнейшим из доступных в СССР компьютеров, число которых на всю страну измерялась сотнями, то теперь необходимый инструмент может просто стоять на его рабочем столе. И при этом стоит он как минимум на порядок дешевле, чем любой другой прибор для физико-химического исследования свойств молекул или кинетики химических реакций.
Многие годы развитие процессоров для персональных компьютеров шло в соответствии с «законом Мура» [8,9], основателя фирмы Intel, гласящим, что число транзисторов, размещаемых на кристалле интегральной схемы, удваивается каждые 2 года [10]. Соответственно росла производительность процессоров. При этом рост производительности достигался главным образом за счет роста частоты единственного вычислительного ядра процессора. В 2000 году Intel начал выпуск процессоров Pentium-4, вся архитектура которых была подчинена достижению максимально высоких частот - при выполнении машинных команд использовались необычайно длинные (20-31 стадийные) конвейеры. Это было чрезвычайно удачным маркетинговым ходом в борьбе с конкурентами за покупателя, но не технической необходимостью.
Процессоры компании AMD тех же лет выпуска (Athlon XP) при решении реальных задач давали сопоставимую c Pentium'ами производительность при существенно более низких частотах и коротких (не более 13 стадий) конвейерах за счет более эффективной архитектуры. Но покупатель хотел большие
мегагерцы, и AMD была вынуждена промаркировать свои процессоры частотой Репйиш'ов равной производительности.
Однако большой коммерческий успех Pentium-4 оказался пирровой победой, поскольку Intel оказался в техническом тупике - выпущенная в 2004 году серия процессоров 4E (ядро Prescott, технологический процесс 90 нм) не смогла достичь частоты в 4 гигагерца -немногочисленные экземпляры этого процессора работали крайне нестабильно и были быстро сняты с производства.
С этого момента парадигма проектирования процессоров радикальным образом изменилась.
Уже в 2005 году фирма Intel выпустила 64-х разрядный двухядерные Pentium D и серверный Xeon, а AMD представила свои двухядерные процессоры (Athlon 64 X2 и серверный Opteron). Процессоры следующего поколения Intel Core Duo были разработаны как 64-х разрядное двухядерное продолжение линии Pentium III с короткими (как у AMD) конвейерами. При существенно более высокой производительности, чем у Pentium-4, частота процессоров Core Duo не превышала 3.2 Ггц. Позднее Intel и AMD произвели четырех и шести ядерные процессоры (Core i7 и Phenom, соответственно). В 2010 году фирма AMD впервые в мире выпустила 12 ядерный серверный Opteron. Сейчас Intel производит 12 и 15 ядерные Xeon'bi, а число ядер в сопроцессоре Intel Xeon Phi™ достигает 61 [11].
За прошедшее с 2004 года десятилетие ни один из серийных процессоров Intel не преодолел без разгона рубеж частоты в 4 Ггц. Как правило, многоядерные процессоры имеют меньшую частоту, чем процессоры с меньшим числом ядер (например, базовая рабочая частота 4-х ядерного процессора для настольных компьютеров Core i7-4790 (оптовая цена - 303$) составляет 3.6 Ггц [12], у топового 15 ядерного серверного процессора Xeon E7-8890 v2 (оптовая цена - 6841$) 2.8 Ггц [13], а у 61 ядерного Xeon Phi™ Coprocessor 7120A (оптовая цена - 4235$) - только 1.238 Ггц [11].
Правда, AMD выпустила 8-ми ядерные процессоры FX-9590, которые в 2013 году в пиковом режиме Turbo Core достигли частоты 5 Ггц [14]. Ниже мы обсудим, насколько они полезны для квантово-химических вычислений.
Таким образом, сейчас весь компьютерный мир -это мир параллельных вычислений. Разумеется, многопроцессорные вычислительные комплексы существовали и раньше, но в виде суперкомпьютеров, таких как CRAY или NEC SX-2, и мощных многопроцессорных рабочих станций IBM, SGI, Sun и т.д. В СССР выпускались десятипроцессорные «Эльбрусы». Но вся эта техника была недоступна университетским исследователям, занимающимися квантово-химическими расчетами.
Любой ученый стремится получить доступ к наиболее совершенным инструментам, с помощью которых он выполняет свою работу. Для занимающихся расчетами химиков таких инструментов два - это квантово-химические программы и компьютеры. Выбор эффективной (то есть обладающей необходимыми для решения поставленной задачи методами и алго-
ритмами, быстрой и надежной) программы чрезвычайно важен, но он не является предметом настоящей работы. Полезную информацию о производительности некоторых популярных программ можно найти в работах А.Н. Маслия и сотрудников [15-17]. Выбор наилучшего компьютера (по соотношению производительность/цена) даже при покупке одного устройства не является тривиальной задачей. Например, что лучше - купить компьютер на базе уже упомянутого Intel Core i7-4790 (4 ядра, базовая частота 3.6 ГГц, розничная цена около 25 300 рублей на момент написания статьи) или AMD FX-9590 (8 ядер, частота 4.7 Ггц, цена 19 100 рублей)? Выбор в пользу AMD кажется очевидным, но верен ли он?
Задача оптимально выбора вычислительной установки многократно усложняется, когда речь идет о рабочей группе или даже об университете в целом. Что лучше - 44 компьютера на базе Intel Core i7-4790, объединенные в вычислительный кластер при помощи Gigabit Ethernet, или одна двухпроцессорная рабочая станция на базе 15 ядерных Xeon E7-8890 v2? Суммарно их процессоры стоят примерно одинаково.
Конечно, можно взять прайс-лист и посчитать, сколько стоит окружение этих процессоров в первом случае (44 недорогих комплекта из материнской платы, блока питания, корпуса, кулера, жесткого диска и 2-4 модулей оперативной памяти и один 48 портовый коммутатор Gigabit Ethernet), и сколько во втором (1 комплект из материнской платы, корпуса, блока питания, двух кулеров + максимально возможное (по числу слотов материнской платы) количество регистровых модулей памяти + RAID контроллер и минимум 6 жестких дисков), когда все перечисленные компоненты дорогие, и получить более точное представление о том, сколько стоят обсуждаемый кластер и рабочая станция.
Но ответа о соотношении производительность/цена даже после такого расчета мы не получим, потому что идеально распараллеливаемых задач не существует. В 1967 году Джин Амдаль, главный конструктор IBM System/360, сформулировал простое по существу, но непреодолимое по содержанию ограничение на рост производительности при распараллеливании вычислений: «В случае, когда задача разделяется на несколько частей, суммарное время её выполнения на параллельной системе не может быть меньше времени выполнения самого длинного фрагмента».
Из представленного рис. 1 видно, что начиная с определенного момента, зависящего от доли последовательного кода в программе, добавление новых процессоров (или вычислительных ядер в процессоре) не ускоряет решения задачи. Например, чтобы добиться 10-кратного ускорения решения задачи, содержащей всего 10% последовательного кода, потребуется более 1000 процессоров!
Если же учесть время, требуемое для передачи информации между процессорами, выяснится, что зависимость величины ускорения от числа процессоров имеет максимум, и с какого-то момента добавление дополнительных процессоров будет приводить к увеличению времени решения задачи.
n-proc
Рис. 1 - Закон Амдаля (ускорение, которое может быть получено на вычислительной системе, по сравнению с однопроцессорным решением в зависимости от доли распараллеливаемых вычислений) [18]
Поскольку квантово-химические программы представляют для обычного пользователя "черный ящик", проанализировать их код на предмет соотношения последовательных и распараллеливаемых участков кода нет возможности. Поэтому целью настоящей работы является выявление зависимости времени решения наиболее типичных квантово-химических задач от числа ядер процессоров, используемых для их решения. Это позволит получить необходимую информацию для выбора оптимальных конфигураций приобретаемых вычислительных установок, с одной стороны, и решений об оптимальном распределении имеющихся вычислительных ресурсов внутри рабочей группы в ходе проведения расчетов, с другой.
Наша рабочая группа в проводимых исследованиях решает значительно разнящиеся по ресурсоемкости задачи [19-28]. Помимо персональных компьютеров с 4-х или 6-ти ядерными Phenom и Core i5/i7, мы имеем доступ к двум двухпроцессорным рабочим станциям с шестиядерными Xeon E5-2667 и Xeon X5690, а также мощным вычислительным кластерам межведомственного суперкомпьютерного центра РАН в Москве и в Казани. Поэтому выбор оптимальной стратегии загрузки доступных вычислительных ресурсов является для нас весьма актуальной задачей.
Все расчеты были выполнены при помощи пакета прикладных программ Gaussian 09 [29], поскольку большая часть расчетов выполняется нами с использованием именно этой программы.
В качестве модельной задачи была взята оптимизация геометрии циклического тримера фульминовой кислоты (рис. 2.) с последующим расчетом частот колебаний и термохимических характеристик молекулы методом B3LYP [2-4] с базисом 6-31G**.
Метод и базис выбраны как наиболее часто используемые в нашей рабочей группе. Базис 6-31G** часто применяется для получения стартовой геометрии для более точных расчетов, особенно при поиске переходных состояний химических реакций. Тестовая молекула построена из элементов-органогенов, из которых состоит большинство взрывчатых веществ и порохов, механизм термического распада которых давно и тщательно исследуется нашей рабочей группой [7]. Характерное время расчета тестовой молекулы выбранным
методом и базисом составляет от 30 минут до 30 секунд, в зависимости от числа используемых ядер компьютера, то есть достаточно велико, чтобы погрешности измерения не повлияли на сделанные выводы.
слоты
Поскольку Gaussian 09 доступен для компьютеров с архитектурой IA64/AMD64 как для Linux (далее - G09), так и для Windows (далее - G09W), требовалось оценить, зависит ли производительность и эффективность распараллеливания от использованной операционной системы.
Были проведены замеры времени, затраченного на решение тестовой задачи с использованием G09W-32 бит, G09W-64 бит для Windows и G09 для Linux/Unix (64-битный вариант). Также для данного компьютера на базе Intel Core i7-4770K были установлены зависимости времени расчета от числа задействованных ядер центрального процессора (рис. 3.)
n-proc
n-proc
Рис. 3 - График зависимости времени расчета (секунды) и ускорения от числа задействованных вычислительных ядер центрального процессора
Учитывая, что G09 как минимум в полтора раза быстрее, чем его версии для Windows, массовые исследовательские расчеты следует выполнять, используя Linux версию Gaussian 09. Версии под Windows следует использовать в учебном процессе, поскольку студентов учат работать в этой операционной системе, и времени на переучивание их на Linux при проведении практических занятий в курсах квантовой химии и/или курсе «Катализ и механизмы химических реакций» просто нет. Высокое быстродействие Linux версии G09 объясняется наличием более эффективного распараллеливающего компилятора с языка Фортран и лучшим качеством математических библиотек в этой ОС.
А вот зависимость времени решения тестовой задачи от числа вычислительных ядер практически одинаковая - использование 4-х ядер сокращает время решения задачи примерно в 3 раза. Результат логичный -код различных версий G09 различается мало, и соотношение последовательных и распараллеливаемых участков программы практически одинаковое. Отсюда следует вывод, что на 4-х ядерных машинах задачи методов DFT следует запускать одновременно на всех ядрах.
Далее было проведено исследование зависимости времени решения модельной задачи от архитектуры центрального процессора и числа задействованных вычислительных ядер. Поскольку G09 эффективнее под Linux в дальнейшем приводятся результаты только для этой операционной системы.
Полученные результаты приведены в таблице 1 и на рисунке 4.
Таблица 1 - Время расчета модельной задачи (секунды) с использованием G09
Как можно увидеть из графика (рис. 4), программно-аппаратные комплексы, основанные на процессорах AMD Phenom II X6 1100T с вычислительным ядром Thuban и частотой 3.7 Ггц в режиме Turbo Core, несмотря на свой почтенный возраст (выпущены в 2010 году), имеют вполне приемлемое быстродействие, а при использовании шести вычислительных ядер вплотную приближается к более новому поколению процессоров AMD FX-8350 с вычислительным ядром Vishera и частотой в режиме Turbo Core 4.2 Ггц. То есть незначительное сокращение времени решения задачи при использовании восьмиядерного FX-8350 вме-
сто шестиядерного Phenom T1100 обеспечивается ростом рабочей частоты процессора. Более того, у AMD FX-8350 при использовании более 4-х вычислительных ядер не происходит существенного сокращения времени решения задачи. Это объясняется архитектурой вычислительного ядра Vishera - в ней процессор состоит из 4-х двухядерных вычислительных блоков, и при включении в обработку данных пятого и последующих ядер пропускной способности соединяющих блоки каналов оказывается недостаточно.
n-proc
n-proc
Рис. 4 - График зависимости времени расчета (секунды) и ускорения от числа задействованных вычислительных ядер центрального процессора с использованием G09
Полученные результаты позволяют ответить на поставленный в первой части статьи вопрос о том, что целесообразнее - купить компьютер на базе AMD FX-9590 или более дорогого Intel Core i7-4790. Поскольку FX-9590 выполнен на том же ядре Vishera, что FX-8350, рост его быстродействия будет по отношению последнему будет обусловлен только ростом частоты и не превысит 19%. Время решения тестовой задачи на одном ядре этого процессора составит около 530 секунд, а на 8 ядрах -примерно 135 секунд. То есть он будет уступать не только Intel Core i7-4790, но даже протестированному нами i7-4770K. Конечно, Core i7-4790 в 1.38 раза дороже, чем FX-9590, но производительность одного ядра при решении тестовой задачи у него в 1.47 выше, чем у FX-9590, а при 4-х ядрах в 1.39 раза. То есть процессор Intel стоит своих денег.
n-proc Intel Xeon X5690 x2 Intel Xeon E5-2667 x2 Intel Core 17-4770K Intel Core 17-3930K AMD FX-8350 AMD Phenom II X6 1100T
1 625 500 369 454 630 687
2 336 268 199 242 337 376
3 235 190 145 175 240 271
4 188 151 119 142 192 237
5 163 129 n/a 121 185 204
6 142 114 n/a 109 173 182
7 130 104 n/a n/a 163 n/a
8 118 95 n/a n/a 160 n/a
9 111 88 n/a n/a n/a n/a
10 104 82 n/a n/a n/a n/a
11 102 79 n/a n/a n/a n/a
12 101 74 n/a n/a n/a n/a
А если учесть, что при этом он имеет тепловыделение 84 ватта против 220 ватт у FX-9590, из-за чего последнему подходит ограниченное (менее десятка) число очень дорогих материнских плат и требуется очень мощная система охлаждения, предпочтительно водяная, становится ясно, что покупка компьютера на базе Core i7-4790 является лучшим выбором.
Остается с сожалением констатировать, что компания AMD перестала конкурировать с Intel в сегменте мощных многоядерных процессоров. Это позволяет держать последней высокие цены. При этом мощность ядер процессоров растет медленно.
В качестве рекомендации к рациональному использованию вычислительных ресурсов, основанной на проделанной работе можно предложить одновременный запуск нескольких задач с использованием меньшего числа вычислительных ядер на каждую, конечно при условии достаточного количества свободной оперативной памяти. Конечно при увеличении количества вычислительных ядер время ожидания решения задачи сокращается, но эффективного прироста производительности при расчете более чем на 4-х ядрах ждать не стоит.
Литература
1. Kohn W., Sham L.J., Phys. Rev., 140, A1133-A1138, (1965)
2. A. D. Becke, J. Chem. Phys. 98, 5648 (1993).
3. C. Lee, W. Yang, and R. G. Parr, Phys. Rev. B 37, 785 (1988)
4. B. Miehlich, A. Savin, H. Stoll, and H. Preuss, Chem. Phys. Lett. 157, 200 (1989).
5. R. Peverati, D.G. Truhlar, Phil. Trans. R. Soc. A., 372, 20130059, (2014).
6. Г.Б. Манелис, Г.М. Назин, Ю.И. Рубцов, В.А. Струнин, Термическое разложение и горение взрывчатых веществ и порохов. М., "Наука", 1996, 222 с.
7. Г.М. Храпковский, А.Г. Шамов, Е.В. Николаева, Д.В. Чачков, Успехи химии, 78, №10, 980-1021 (2009).
8. G.E. Moore, Electronics, April 19, 114-117, (1965)
9. G.E. Moore, Proceeding of the IEEE, 86, №1, 82-84, (1998).
10. http://ru.wikipedia.org/?oldid=62459469
11. http://ark.intel.com/ru/products/series/75809
12. http://ark.intel.com/products/80806/Intel-Core-i7-4790-Processor-8M-Cache-up-to-4_00-GHz
13. http://ark.intel.com/products/75258/Intel-Xeon-Processor-E7-8890-v2-37_5M-Cache-2_80-GHz?q=Xeon%20E7-8890%20v2
14. http://www.nix.ru/autocatalog/amd/CPU_AMD_FX9590_FD95 90F_4.7_8core_220_5200_Socket_AM3_172639.html
15. Маслий А.Н., Гришаева Т.Н., Баковец В.В., Кузнецов А.М., Вестник Казанского технологического университета., 16, 13, 28-32 (2013).
16. Маслий А.Н., Мадиров Э.И., Вестник Казанского технологического университета., 16, 23, 12-18 (2013).
17. Гришаева Т.Н., Маслий А.Н., Вестник Казанского технологического университета., 15,12, 7-11 (2012).
18. http://ru.wikipedia.org/?oldid=64987246
19. Khrapkovskii G.M., Shamov A.G., Tsyshevsky R.V., Chachkov D.V., Egorov D.L., Aristov I.V., Computational and Theoretical Chemistry, 966, 1-3, 265-271 (2011).
20. Khrapkovskii G.M., Shamov A.G., Tsyshevsky R.V., Chachkov D.V., Egorov D.L., Aristov I.V., Computational and Theoretical Chemistry, 985, 80-89 (2012).
21. Tsyshevsky R.V., Aristov I.V., Chachkov D.V., Shamov A.G., Khrapkovskii G.M., Journal of Energetic Materials, 28, 4, 318-337 (2010).
22. Огурцова Е.В., Мазилов Е.А., Аристов И.В., Чачков Д.В., Шамов А.Г., Храпковский Г.М., Вестник Казанского технологического университета, 9, 50-53(2010).
23. Цышевский Р.В., Туровцев В.В., Егоров Д.Л., Аристов И.В., Орлов Ю.Д., Вестник Казанского технологического университета, 11, 7-10 (2011).
24. Аристов И.В., Егоров Д.Л., Храпковский Г.М., Шамов А. Г., Вестник Казанского технологического университета, 15, 13, 7-9 (2012).
25. Цышевский Р.В., Егоров Д. Л., Аристов И.В., Шамов А.Г., Храпковский Г.М., Вестник Казанского технологического университета, 15, 4, 28-31 (2012).
26. Аристов И.В., Егоров Д.Л., Николаева Е.В., Шамов А.Г., Храпковский Г.М., Вестник Казанского технологического университета, 1, 18-21 (2011).
27. Аристов И.В., Егоров Д.Л., Храпковский Г.М., Шамов А.Г., Вестник Казанского технологического университета, 15, 12, 37-39 (2012).
28. Tsyshevsky R.V., Garifzianova G.G., Aristov I.V., Shamov
A.G., Khrapkovskii G.M., International Journal of Quantum Chemistry, 111, 11, 2663-2670 (2011).
29. Gaussian 09, Revision D.01, M. J. Frisch, G. W. Trucks, H.
B. Schlegel, G. E. Scuseria, M. A. Robb, J. R. Cheeseman, G. Scalmani, V. Barone, B. Mennucci, G. A. Petersson, H. Nakatsuji, M. Caricato, X. Li, H. P. Hratchian, A. F. Izmaylov, J. Bloino, G. Zheng, J. L. Sonnenberg, M. Hada, M. Ehara, K. Toyota, R. Fukuda, J. Hasegawa, M. Ishida, T. Nakajima, Y. Honda, O. Kitao, H. Nakai, T. Vreven, J. A. Montgomery, Jr., J. E. Peralta, F. Ogliaro, M. Bearpark, J. J. Heyd, E. Brothers, K. N. Kudin, V. N. Staroverov, R. Kobayashi, J. Normand, K. Raghavachari, A. Rendell, J. C. Burant, S. S. Iyengar, J. Tomasi, M. Cossi, N. Rega, J. M. Millam, M. Klene, J. E. Knox, J. B. Cross, V. Bakken, C. Adamo, J. Jaramillo, R. Gomperts, R. E. Stratmann, O. Yazyev, A. J. Austin, R. Cammi,
C. Pomelli, J. W. Ochterski, R. L. Martin, K. Morokuma, V. G. Zakrzewski, G. A. Voth, P. Salvador, J. J. Dannenberg, S. Dapprich, A. D. Daniels, O. Farkas, J. B. Foresman, J. V. Ortiz, J. Cioslowski, and D. J. Fox, Gaussian, Inc., Wallingford CT, 2009.
© И. В. Аристов - м.н.с. НИ ОКХ КНИТУ, aristov@kstu.ru; А. Г. Шамов - начальник отделения информатизации КНИТУ, shamov@kstu.ru.
© I. V. Aristov - junior researcher Scientific Research Department of Computational Chemistry KNRTU, aristov@kstu.ru; A. G. Shamov -head of department of informatization KNRTU, shamov@kstu.ru.
