CC BY
233
УДК 541.49:541.64
А. Н. Маслий, Э. И. Мадиров СРАВНЕНИЕ ПРОИЗВОДИТЕЛЬНОСТИ КВАНТОВО-ХИМИЧЕСКИХ РАСЧЁТОВ
ПРИ ИСПОЛЬЗОВАНИИ GPU
Ключевые слова: теория функционала плотности, квантовая химия, графический ускоритель, CUDA, TeraChem.
На примерe полной оптимизации геометрии кукурбит[6]урила в рамках теории функционала плотности проведено сравнение производительности программного пакета TeraChem, полностью основанного на технологии CUDA, с классическими квантово-химическими программными пакетами.
Key words: density functional theory, quantum chemistry, GPU, CUDA, TeraChem.
On the example of full geometry optimization of cucurbit[6]uril within the density functional theory, comparison of performance of TeraChem software package fully based on CUDA technology with widely used quantum-chemical software packages has been made.
Введение
Современные методы квантовой химии позволяют решать сложные химические задачи из самых разных областей химии [1-8]. При этом часто возможно получение не только качественных, но и количественных результатов, сопоставимых с высокоточными экспериментальными данными. Однако, оборотной стороной столь высокой точности или высокой сложности исследуемых систем является резко возрастающая сложность квантово-химических расчётов. Для того, чтобы получать результаты за приемлемое время, предъявляются повышенные требования к компьютерному оборудованию для проведения квантово-химических расчётов.
Для уменьшения времени проведения сложных расчётов используется два подхода: это совершенствование аппаратной части и совершенствование программного обеспечения. В рамках первого подхода увеличивается мощность компьютеров за счёт использования более современных процессоров, увеличиваются объёмы оперативной и дисковой памяти, используются многоядерные и многопроцессорные системы, компьютеры объединяются в высокопроизводительные кластеры. Всё это требует и совершенствования программного обеспечения, которое должно уметь задействовать все полученные аппаратные возможности. При этом немаловажным фактором становится стоимость аппаратного обеспечения и низкие возможности его модернизации.
Одной из аппаратных технологий, позволяющих существенно ускорить сложные расчёты, является использование GPU современных видеоадаптеров. В настоящее время существует две конкурирующие программно-аппаратные платформы, позволяющие использовать GPU для проведения расчётов: это CUDA [9], разрабатываемая и поддерживаемая фирмой NVidia, и OpenCL [10], которая разрабатывается и поддерживается некоммерческим консорциумом Khronos Group [11]. Платформа OpenCL гораздо более совершенная и позволяет писать компьютерный код, который с минимальными изменениями может выполняться на любых вычислительных устройствах (CPU, GPU и FPGA) не-
зависимо от фирмы-производителя. Технология CUDA привязана к аппаратному обеспечению фирмы NVidia. Однако, в настоящий момент для большинства научных и инженерных расчётов платформа OpenCL не подходит, поскольку она не поддерживает вычисления с двойной точностью, в то время как при создании платформы CUDA корпорация NVidia ориентировалась в том числе и на использование GPU для проведения научных вычислений [12].
В разделе компьютерной химии на сайте NVidia [13] перечислен целый ряд программных пакетов вычислительной химии, поддерживающих технологию CUDA. Единственным квантово-химическим программным пакетом, изначально основанным только на технологии CUDA, оказался TeraChem [14] фирмы Peta^em [15]. Для оценки возможностей программного пакета TeraChem и преимуществ использования технологии CUDA фирма PetaChem предоставляет всем желающим демонстрационную версию пакета с лицензией ограниченной функциональности, а также по запросу может предоставить ограниченную по времени полнофункциональную лицензию.
В данной работе проведено сравнение производительности программного пакета TeraChem на различных GPU с программными пакетами Gaussian 09 [16], который фактически является эталоном качества расчётов для пакетов квантовой химии, и Priroda 11 [17], которая может являться эталоном скорости проведения расчётов [18].
1. Оборудование и методика исследования
Согласно данным фирмы PetaChem, для работы программного пакета TeraChem требуется графический ускоритель, поддерживающий стандарт CUDA 2.0 и выше. Для проведения расчётов с использованием GPU в нашем распоряжении имелось две видеокарты с графическими ускорителями фирмы NVidia GeForce: это Gigabyte GV-N650OC-1GI на чипсете GTX650 с 1024МБ оперативной памяти стандарта GDDR5 и MSI N660Ti PE 2GD5/OC на чипсете GTX660 Ti с 2048МБ оперативной памяти стандарта GDDR5. Поскольку все расчёты программным пакетом TeraChem проводятся исключи-
тельно на GPU, то от компьютера, в котором установлен видеоадаптер, для расчётов используется часть оперативной памяти для хранения волновых функций и градиентов и только одно ядро процессора для синхронизации данных между ОЗУ компьютера и видеокарты. По этой причине видеокарты устанавливались в компьютеры на базе четырёх-ядерного процессора AMD PhenomII x4 955 c 4Гб ОЗУ стандарта DDR3 РС3-10666 и двухядерного процессора Intel Core i3 2120 с 6 Гб ОЗУ стандарта DDR3 РС3-10666. Для проведения расчётов фирма PetaChem предоставила нам полнофункциональную версию TeraChem v1.5K (Hg Version: b133f5bd52e3+).
Для расчётов при помощи программных пакетов Gaussian 09 Rev B.01 и Priroda 11 использовались компьютеры на базе четырёхядерного процессора AMD PhenomII x4 955 c 4Гб ОЗУ стандарта DDR3 РС3-10666, шестиядерного процессора AMD PhenomII x6 1090T c 16Гб ОЗУ стандарта DDR3 РС3-10666 и шестиядерного процессора Intel Core i7 3930K c 64Гб ОЗУ стандарта DDR3 РС3-12800.
Все использованные в тестах процессоры имеют встроенную поддержку архитектуры х86_64, поэтому для расчётов использовались программные пакеты с поддержкой этой архитектуры. Все компьютеры работали под управлением 64х разрядной версии OpenSUSE 12.3. Для функционирования программного пакета TeraChem был установлен требуемый ему NVidia CUDA Toolkit версии 5.0 и графический драйвер nvidia версии 319.32.
Сравнивать производительность компьютеров и программных пакетов на примере небольших молекулярных систем абсолютно бесполезно, поскольку на результаты расчёта влияют многие сопутствующие факторы. Поэтому для расчёта была выбрана молекула макроциклического кавитанда кукурбит[6]урила, состоящая из 108 атомов. Проводилась полная оптимизация геометрических параметров молекулы без ограничений по симметрии. В качестве стартовой во всех расчётах использовалась одна и та же структура, представленная на рис. 1.
Рис. 1 - Структура кукурбит[6]урила (CB[6])
В случае всех расчётов оптимизации геометрических параметров в программных пакетах TeraChem [19] и Gaussian 09 использовались критерии сходимости, заданные по умолчанию. Для программного
пакета Priroda 11 были заданы: точность расчётов интегралов по сетке 1Е-8, точность расчёта энергии SCF 1Е-7, точность расчёта энергии при оптимизации 1Е-6 (все энергии в атомных единицах), максимальный шаг при оптимизации 0.1 А.
В рамках программного пакета TeraChem возможно использование как фиксированной сетки интегрирования в ходе всего расчёта, так и адаптивной сетки интегрирования, когда на начальном этапе используется более грубая сетка для более быстрых расчётов, а по мере заглубления энергии на итерациях SCF используется всё более точная сетка интегрирования. В ходе выполнения данной работы проверялись оба подхода, и в качестве фиксированной сетки интегрирования была выбрана сетка порядка 3000 точек на атом.
Для сравнения программных пакетов Gaussian и TeraChem использовался широко распространённый трёхпараметрический гибридный метод теории функционала плотности B3LYP [20] в комбинации с не менее широко распространённым базисным набором 6-31G(d,p) [21]. Поскольку программный пакет Priroda наилучшей производительностью обладает при расчётах с использованием GGA функционалов плотности, для сравнения программами Priroda и TeraChem использовался обмен-но-корреляционный функционал PBE [22] в комбинации с базисным набором 6-31G(d,p).
2. Результаты и обсуждение
Прежде чем обсуждать производительность программных пакетов, следует убедиться, что результаты, полученные в различных программах с применением одинаковых квантово-химических методов исследования и атомных базисных наборов, совпадают. Поскольку каждая программа использует свои модификации как квантово-химических методов, так и атомных базисных наборов, сравнивать полученные полные энергии бесполезно, поэтому надёжным критерием будет сравнение геометрических параметров оптимизированной молекулы. В данной работе не ставилось задачи сопоставления результатов расчётов с экспериментом, а только лишь сравнение полученных результатов в рамках одинаковых приближений между собой.
Рис. 2 - Сравнение геометрических характеристик, полученных при полной оптимизации CB[6] программными пакетами Gaussian 09 и TeraChem
V ® ф ®
Г '-12I3 Г».
Г10" ««-¡К^ ли» . I26'39
пз.ое W
* ' ,103,2В
4 f I J
Рис. 3 - Сравнение геометрических характеристик, полученных при полной оптимизации CB[6] программными пакетами Priroda и TeraChem
Макроциклический кавитанд CB[6] является симметричной молекулой, в которой уникальными являются весьма ограниченный круг геометрических параметров. На рисунках 2 и 3 представлен один гликольурильный фрагмент CB[6] и дано сравнение полученных результатов для программных пакетов Gaussain 09 и TeraChem и Priroda и TeraChem.
Как видно из рисунка 2, длины химических связей, полученные в программных пакетах Gaussian 09 и TeraChem, различаются не более чем на 0,001 А, а валентные углы - менее чем на 0,05 градуса. Фактически подобные различия при стандартных ограничениях оптимизации в программном пакете Gaussian могут быть получены в рамках одного метода при старте с разных исходных структур. То есть, можно утверждать, что оптимизация в программных пакетах Gaussian 09 и TeraChem привела к полностью идентичным структурам. Из рисунка 3 следует, что расхождение в геометрических параметрах при оптимизации методом PBE в программных пакетах Priroda и TeraChem несколько больше и составляет не более чем 0,002 А по длинам связей и менее 0,1 градуса по валентным углам. Эти результаты также позволяют утверждать, что структуры в различных программных пакетах получены аналогичные.
После того, как установлено, что в рамках одинаковых приближений все программные пакеты дают с приемлемой погрешностью одинаковые результаты, рассмотрим их производительность. И здесь встретилась первая неожиданность: на более мощном компьютере программный пакет Gaussian затратил на процесс оптимизации значительно больше времени. При внимательном рассмотрении оказалось, что по непонятным причинам программа сделала значительно большее количество шагов оптимизации геометрических параметров. Попытки прояснить причины такого поведения программного пакета привели к ещё более странным результатам — запущенный несколько раз подряд на одном и том же компьютере и с одной и той же стартовой структуры программный пакет Gaussian 09 каждый раз делал разное количество шагов оптимизации. Было сделано предположение о том, что на число шагов оптимизации влияет, возможно, генерируе-
мый на первой итерации несколько различный набор стартовых коэффициентов АО для процедуры самосогласованного поля (guess). Для проверки этого предположения был сгенерирован оптимальный стартовый набор коэффициентов, который потом читался вместе с исходными данными задачи. Это несколько улучшило сходимость и время расчёта, но всё равно разброс времени оставался значительным. В итоге максимальный разброс составляет от 19 до 425 итераций оптимизации при одинаковых стартовых условиях. Объяснить подобное поведение программного пакета Gaussian 09 не представляется возможным.
Программный пакет TeraChem также демонстрировал подобные эффекты, но в значительно меньшей степени: от 48 до 66 итераций процесса оптимизации. Кроме того, столь большая разница наблюдается при использовании различных архитектур как компьютера, так и видеоадаптера. При использовании же одинаковой аппаратной платформы расхождений или вообще не наблюдается, или они составляют не более 2-3 итераций.
Наибольшую устойчивость в этом плане продемонстрировал программный пакет Priroda, который вне зависимости от аппаратной платформы потребовал одинаковое количество итераций оптимизации (имеется только одно отклонение на одну итерацию).
В связи с подобным нестабильным поведением программных пакетов было решено сравнивать не абсолютное время проведения расчёта, которое в случае Gaussian 09 даже невозможно усреднить, а среднее время, затраченное на 1 итерацию оптимизации, которое уже почти стабильно и поддаётся усреднению. Полученные результаты приведены в таблицах 1 и 2.
Другой характеристикой «качества» решения можно считать стабильность полной энергии оптимизированной молекулы. В таблицах 1 и 2 приведены рассчитанные полные энергии, средняя энергия по программному пакету и отклонение от средней энергии. Для удобства восприятия отклонения от полной энергии приведены в кДж/моль. Для программного пакета TeraChem при расчётах с фиксированной сеткой интегрирования полная энергия получается примерно на 1 кДж/моль выше, чем при расчётах с адаптивной сеткой, поэтому полная энергия усреднялась по каждому подходу отдельно.
Как видно из таблицы 1, программный пакет Gaussian 09 крайне нестабилен по времени расчёта: минимальное и максимальное время расчёта различаются на порядок независимо от аппаратной платформы. Однако при этом среднее время более стабильно и здесь наблюдается ожидаемая тенденция — оно уменьшается с увеличением мощности аппаратной платформы. Значения полной энергии молекулы стабильны, и отклонения от среднего значения по всем полученным решениям вне зависимости от аппаратной платформы составляет максимум 0,1 кДж/моль. Эта величина находится в пределах точности расчёта энергии.
Таблица 1 - Сравнение производительности программных пакетов Gaussian 09 и TeraChem на примере полной оптимизации CB[6] на уровне B3LYP/6-31G(d,p)
Аппаратная платформа Общее время (с) расчёта Общее число итераций Число секунд на итерацию Среднее число секунд на итерацию по платформе Полная энергия (Хартри) Средняя полная энергия по программному пакету (Хартри) Отклонение от средней полной энергии (кДж/моль)
Gaussian 09
1 393587 199 1977 -3610,5433849 -0,0430
1 46519 21 2215 -3610,5433279 0,1067
1* 36881 19 1941 2035 -3610,5433553 0,0348
1* 52868 25 2114 -3610,5433661 0,0064
1* 309353 133 2021 -3610,5433843 -3610,5433685 -0,0414
1* 36921 19 1943 -3610,5433457 0,0600
2 250377 108 2318 2091 -3610,5433689 -0,0010
2 315292 169 1865 -3610,5433778 -0,0243
3 106219 131 810 772 -3610,5433871 -0,0487
3 312087 425 734 -3610,5433810 -0,0327
TeraChem
4 78925 62 1272 1256 -3610,543493 -0,0044
4 81848 66 1240 -3610,543495 -0,0097
5 60542 48 1261 1278 -3610,543492 -0,0025
5 64767 50 1295 -3610,543494 -0,0074
6 32571 53 614 -3610,543493 -3610,543491 -0,0055
6 32576 53 614 615 -3610,543493 -0,0055
6 30861 50 617 -3610,543493 -0,0034
7 34435 57 604 604 -3610,543484 0,0192
7 34436 57 604 -3610,543484 0,0192
5* 57490 52 1105 1105 -3610,543958 -0,0055
5* 57497 52 1105 -3610,543960 -3610,543961 -0,0055
6* 31504 57 552 552 -3610,543963 0,0022
6* 31503 57 552 -3610,543963 0,0089
1 — AMD PhenomII x4 955/4Гб
1* — AMD PhenomII x4 955/4Гб оптимизация с использованием заранее рассчитанного guess.
2 — AMD PhenomII x6 1090Т/16Гб
3 — Intel Core i7 3930K/64Гб
4 — Intel Core i3 2120/6 Гб/ GTX650/1024МБ
5 — AMD PhenomII x4 955/4Гб/ GTX650/1024МБ
6 — Intel Core i3 2120/6 Гб/ GTX660 Ti/2048МБ
7 — AMD PhenomII x4 955/4Гб/ GTX660 ^2048МБ
5* — AMD PhenomII x4 955/4Гб/ GTX650/1024МБ расчёт с адаптивной сеткой интегрирования 6* — Intel Core i3 2120/6 Гб/ GTX660 ^2048МБ расчёт с адаптивной сеткой интегрирования
Таблица 2 - Сравнение производительности программных пакетов Priroda 11 и TeraChem на примере полной оптимизации CB[6] на уровне PBE/6-31G(d,p)
Аппаратная платформа Общее время (с) расчёта Ufimtsev Общее число итераций Число секунд на итерацию Среднее число секунд на итерацию по платформе Полная энергия (Хартри) Средняя полная энергия по программному пакету (Хартри) Отклонение от средней полной энергии (кДж/моль)
Priroda 11
1 4045 58 69 69 -3606,5820432 -3606,5820432 0
1 4054 58 69 -3606,5820432 0
1* 3863 58 66 66 -3606,5820432 -3606,5820432 0
2 4451 58 76 77 -3606,5820432 -3606,5820432 0
2 4466 58 77 -3606,5820432 0
2 4448 57 78 -3606,5820432 0
TeraChem
3 15980 35 456 456 -3606,600996 -3606,600995 0,0026
3 15982 35 456 -3606,600997 0,0052
4 3257 20 162 162 -3606,600993 -0,0052
4 3258 20 162 -3606,600993 -0,0052
3* 10372 42 246 246 -3606,601776 -3606,601802 0,0683
3* 10372 42 246 -3606,601776 0,0683
4* 3789 43 88 88 -3606,601828 -0,0683
4* 3788 43 88 -3606,601828 -0,0683
1 — AMD PhenomII x6 1090Т/16Гб 1* — AMD PhenomII x6 1100Т/16Гб
2 — AMD PhenomII x4 955/4Гб
3 — AMD PhenomII x4 955/4Гб/ GTX650/1024МБ
3* — AMD PhenomII x4 955/4Гб/ GTX650/1024МБ расчёт с адаптивной сеткой интегрирования
4 — Intel Core i3 2120/6 Гб/ GTX660 Ti/2048МБ
4* — Intel Core i3 2120/6 Гб/ GTX660 ^2048МБ расчёт с адаптивной сеткой интегрирования
Что же касается программного пакета TeraChem, то его результаты гораздо стабильнее. Количество итераций различается не более чем на 10 по всем аппаратным платформам, максимальный разброс по времени расчёта на одной аппаратной платформе не превышает 30 секунд. При этом время на одну итерацию в большей степени зависит от используемого видеоадаптера, чем от процессора. Разброс по полученным энергиям в рамках одного подхода к расчётам также на порядок меньше, чем у Gaussian 09, и не превышает 0,02 кДж/моль. Следует отметить, что применение адаптивной сетки интегрирования не только ускорило проведение расчётов, но и позволило получить более глубокое значение полной энергии молекулы.
Таким образом, по результатам, приведенным в таблице 1, можно сделать вывод, что производительность программного пакета TeraChem c использованием видеоадаптера на базе GF GTX650 мало зависит от аппаратной платформы, на которой установлен видеоадаптер, однако преимущество остаётся у платформы с более высокой тактовой
частотой работы процессора и более быстрой памятью (в нашем случае это оказался Intel Core i3 2120). То же самое относится и к расчётам с использованием видеоадаптера GF GTX660Ti.
Скорость расчётов с использованием программного пакета TeraChem в случае GTX650 сопоставима со скоростью расчётов с использованием программного пакета Gaussian 09 на компьютерах с шестиядерными процессорами AMD AthlonII x6 1090T — 1100T. При использовании же GTX660Ti скорость расчётов превысила скорость расчётов на одном из самых мощных из имеющихся на сегодняшний день шестиядерных процессоров Intel Core i7 3939K. Следует отметить, что видеодаптеры на чипсете GTX650 находятся в нижней ценовой категории видеоадаптеров, а на чипсете GTX660Ti — в средней, при этом в настоящее время в продаже имеются значительно более мощные видеоадаптеры.
На основе результатов, представленных в таблице 2, можно сделать следующие выводы. Программный пакет Priroda 11 даёт максимально стабильные решения, которые не более чем на 10 се-
кунд отличаются по полному времени расчёта, а по среднему времени на 1 итерацию счёт идёт уже на десятые доли секунды. Что касается полной энергии, то здесь отклонений нет вообще с точностью до 0,0001 кДж/моль. Но и программный пакет TeraChem при использовании комбинации PBE/6-31G(d,p) также выдаёт более стабильные результаты по времени расчёта, которые в пределах одной аппаратной платформы отличаются уже менее чем на 5 секунд. Однако разброс по энергиям все же имеется, но составляет менее чем 0,01 кДж/моль. Следует отметить, что в случае функционала PBE при расчётах с адаптивной сеткой интегрирования в TeraChem было сделано почти в два раза больше шагов оптимизации, но сами шаги выполнялись значительно быстрее, в результате чего полное время расчёта на GTX650 на треть меньше, чем с фиксированной сеткой, а на GTX660Ti лишь немного больше.
Общий же анализ производительности показывает, что программный пакет Priroda по праву считается очень быстрым программным пакетом. Скорость расчёта даже на четырёхядерном PhenomII x4 955 значительно превышает скорость расчёта на GTX650, однако GTX660Ti оказывается быстрее и четырёх-, и шестиядерного PhenomII.
Заключение
Общий вывод к проведённому исследованию можно сделать следующим — программный пакет TeraChem обеспечивает высокую производительность вычислений с использованием видеоадаптеров, основанных на чипсетах фирмы NVidida с поддержкой технологии CUDA. Получаемые результаты согласуются с результатами, полученными в рамках таких признанных программных пакетов, как Gaussian и Priroda. Программный пакет TeraChem рекомендуется использовать как замену более медленным программам.
Однако можно рассмотреть проблему использования программных пакетов и с другой стороны. Задачи, решаемые методами квантовой химии, с каждым днём становятся всё более сложными и требующими всё больше компьютерных ресурсов. К сожалению, политика ведущих фирм производителей CPU, а в настоящий момент это только Intel и AMD, не способствует лёгкой модернизации имеющегося оборудования, в то время как с использованием программного пакета TeraChem легко увеличить вычислительную мощность системы простым добавлением ещё одного или нескольких высокопроизводительных видеоадаптеров. Более того, лучшие результаты в данном тестировании были показаны на достаточно слабом, с точки зрения современной вычислительной химии, компьютере на базе двухядерного процессора Intel Core i3 2120 и всего 6Гб оперативной памяти. Подобные системы сегодня (за исключением оперативной памяти, которая была специально увеличена) позиционируются как «офисные компьютеры».
Есть и другая сторона этого подхода. Одна лицензия TeraChem позволяет использовать компьютер, содержащий до 12 вычислительных ядер (2
шестиядерных процессора) и 8 видеоадаптеров, то есть позволяет собрать буквально на рабочем столе мощнейший вычислительный кластер. Стоимость такого решения будет конечно высока, но существенно ниже, чем система из 8 компьютеров на базе Intel Core i7 3939K. При этом производительность будет, как следует из тестов, существенно выше. Более того, производительность можно будет ещё и нарастить с выходом более мощных видеокарт (или с понижением стоимости ныне существующих топовых видеокарт), в то время как решения на базе классических ёёёCPU практически всегда требуют серьёзной модернизации всей системы.
Благодарности
Авторы благодарят фирму PetaChem за предоставленную для тестирования копию программного пакета TeraChem и лично Ивана Уфимцева (Ivan Ufimtsev) за консультации по использованию программного пакета.
Литература
1. Маслий А.Н., Гришаева Т.Н., Кузнецов Ан.М., Бако-вец В.В. Журнал структурной химии. 2009. Т.49. № 3. С.413-418; Maslii A.N., Grishaeva T.N., Kuznetsov A.M., Bakovets V.V. Journal of Structural Chemistry. 2009. V.50. N.3. P.391-396.
2. Bakovets V.V., Masliy A.N., Kuznetsov A.M. J. Phys. Chem. B, 2008. V.112. № 38. P.12010-12013.
3. Kuznetsov A.M., Masliy A.N., German E.D., Korshin G.V. Journal of Electroanalytical Chemistry. 2004. V.573. № 2. P.315-325.
4. Кузнецов Ан.М., Маслий А.Н., Шапник М.С. Электрохимия. 2000. Т.36. №12. С.1477-1482; Kuznetsov A.M., Maslii A.N., Shapnik M.S. Russian Journal of Electrochemistry. 2000. V.36. №12. P.1309-1313.
5. Кузнецов Ан.М., Маслий А.Н., Кришталик Л.И. Электрохимия. 2008. Т.44. №1. С.39-47; Kuznetsov An.M., Maslii A.N., Krishtalik L.I. Russian Journal of Electrochemistry. 2008. V.44. №1. P.34-42.
6. Кузнецов Ан.М., Маслий А.Н., Кришталик Л.И. Электрохимия. 2009. Т.45. №1. С.87-92; Kuznetsov An.M., Maslii A.N., Krishtalik L.I. Russian Journal of Electrochemistry. 2009. V.45. №1. P.87-92.
7. Гришаева Т.Н., Маслий А.Н., Баковец В.В., Кузнецов А.М. Вестник Казанского технологического университета. 2011. №6. С.7-15.
8. Бутырская Е.В., Маслий А.Н., Кузнецов Ан.М., Ша-пошник В.А. Сорбционные и хроматографические процессы. 2001. Т.1. №1. С.25.
9. Параллельные вычисления CUDA [Офиц. сайт] URL: http://www.nvidia.ru/object/cuda-parallel-computing-ru.html.
10. OpenCL - The open standard for parallel programming of heterogeneous systems [Офиц. сайт] URL: http://www.khronos.org/opencl/
11. The Khronos Group Inc. [Офиц. сайт] URL: http://www.khronos.org/
12. Приложения для вычисления на GPU [Офиц. сайт] URL: http://www.nvidia.ru/object/gpu-computing-applications-ru.html
13. GPU applications [Офиц. сат] URL: http://www.nvidia.com/object/gpu-applications.html7cCtrY
14. Ufimtsev I.S. and Martinez T.J., J. Chem. Theory Com-put., 2009, 5, p2619.
15. PetaChem caT] URL: http://www.petachem.com/
16. Gaussian 09, Revision B.01, M.J. Frisch, G.W. Trucks, H.B. Schlegel, G.E. Scuseria, M.A. Robb, J.R. Cheeseman,, G. Scalmani, V. Barone, B. Mennucci, G.A. Petersson, H. Nakatsuji, M. Caricato, X.Li, H.P. Hratchian, A.F. Izmay-lov, J. Bloino, G. Zheng, J.L. Sonnenberg, M. Hada, M. Ehara, K. Toyota, R. Fukuda, J. Hasegawa, M. Ishida, T. Nakajima, Y. Honda, O. Kitao, H. Nakai, T. Vreven, J.A. Montgomery, Jr., J.E. Peralta, F. Ogliaro, M. Bearpark, J.J. Heyd, E. Brothers, K.N. Kudin, V.N. Staroverov, T. Keith, R. Kobayashi, J. Normand, K. Raghavachari, A. Rendell, J.C. Burant, S.S. Iyengar, J. Tomasi, M. Cossi, N. Rega, J.M. Millam, M. Klene, J.E. Knox, J.B. Cross, V. Bakken, C. Adamo, J. Jaramillo, R. Gomperts, R.E. Stratmann, O. Yazyev, A.J. Austin, R. Cammi, C. Pomelli, J.W. Ochterski, R.L. Martin, K. Morokuma, V.G. Zakrzewski, G.A. Voth, P. Salvador, J.J. Dannenberg, S. Dapprich, A.D. Daniels, O.
Farkas, J.B. Foresman, J.V. Ortiz, J. Cioslowski, D.J. Fox, Gaussian, Inc., Wallingford CT, 2010.
17. Лайков Д.Н.. Развитие экономного подхода к расчету молекул методом функционала плотности, его применение к решению сложных химических задач. Диссертация на соискание ст. к.ф.-м.н., МГУ, 2000.
18. Гришаева Т.Н., Маслий А.Н. Вестник Казанского технологического университета. 2012. Т.15. №12. С.7-11.
19. Kästner J., Carr J.M., Keal T.W., Thiel W., Wander A. and Sherwood P., J. Phys. Chem. A, 2009. V.113. P.11856-11862.
20. Becke, A.D., J. Chem. Phys. 1993. V.98. P.5648-5652.
21. R. Ditchfield, W. J. Hehre, and J. A. Pople, J. Chem. Phys., 1971. V.54. P.724-731.
22. Perdew J.P., Burke K., Ernzerhof M., Phys. Rev. Lett., 1996. V.77, P.3865-3868.
© А. Н. Маслий - канд. хим. наук, доц. каф. неорганической химии КНИТУ, masliy@kstu.ru; Э. И. Мадиров - студ., Институт физики К(П)ФУ, ed.madirov@gmail.com.
