CC BY
35
Раздел VI. Вычислительные комплексы нового поколения и нейрокомпьютеры
УДК 004.382.2
А.И. Дордопуло, И.И. Левин, Д.А. Сорокин
РЕАЛИЗАЦИЯ ДОКИНГА ДЛЯ МОЛЕКУЛЯРНОГО МОДЕЛИРОВАНИЯ
НА РЕКОНФИГУРИРУЕМЫХ ВЫЧИСЛИТЕЛЬНЫХ СИСТЕМАХ
(часть 2)
Статья посвящена описанию методов оптимизации фрагментов задачи и адаптации архитектуры реконфигурируемой вычислительной системы под структуру решаемой задачи при аппаратной реализации докинга - метода молекулярного моделирования. Отличительной особенностью описываемого решения по сравнению с известными реализациями является функционально завершенное решение полной задачи докинга на реконфигурируемой вычислительной системе, обеспечивающее согласованность функционирования всех фрагментов задачи в едином вычислительном контуре.
Аппаратная реализация; докинг; суперкомпьютерное молекулярное моделирование; реконфигурируемые вычислительные системы; лиганд.
A.I. Dordopulo, I.I. Levin, D.A. Sorokin
DOCKING REALIZATION FOR MOLECULAR MODELING ON RECONFIGURABLE COMPUTER SYSTEMS
The paper is devoted to description of methods of task fragments optimization and adaptation of architecture of reconfigurable computer system to the structure of the solving task of docking (method of molecular modeling) hardware realization. In comparison with existing realizations, the distinctive feature of the viewed solution is all-in-one solution of complete problem of docking on reconfigurable computer system, providing coordinated functioning of all fragments of the task in a single computer system.
Hardware realization; docking; supercomputer molecular modeling; reconfigurable computer systems; ligand.
Введение. Рассмотренные в первой части статьи методы оптимизации фрагментов задачи и средства адаптации архитектуры реконфигурируемой вычислительной системы (РВС) под структуру решаемой задачи обеспечивают, в отличие от известных решений задачи докинга на РВС, согласованную аппаратную реализацию всех фрагментов задачи в едином вычислительном контуре.
Применение этих методов (редукция вычислительной структуры графа фрагмента задачи, использование предвычисленных массивов для хранения результатов повторяющихся операций, согласованное распараллеливание подграфов графа задачи, использование специальной структуры хранения данных) позволяет получить качественно новое решение задачи докинга [1, 2], обеспечивающее многократный выигрыш (не менее 10 раз) по скорости докинга на РВС по сравнению с вычислительными системами традиционной архитектуры при пересчете на один процессор.
Оптимизация вычислительно-трудоемких фрагментов расчета внутренней энергии лиганда задачи докинга. Внутренняя энергия лиганда Einier учитывает энергию Ван-дер-Ваальса Elig_VdW, электростатическую энергию Elig_ES и энергию торсионного взаимодействия лиганда Elig _tors [2]. Расчет внутренней
энергии лиганда состоит из разнородных по плотности потока обрабатываемых данных процедур.
Так, расчет Eug-tors выполняется однократно, время обработки одного лиганда зависит от числа торсионных связей Ntors , времени на обработку одной связи ttors и вычисляется по формуле
tEtors = Ntors * ttors .
Согласно приведенной в работе [2] математической модели, максимальное число Ntors не превысит 500, время обработки одной связи ttors=1 такту работы ПВМ. Тогда можно определить время обработки для расчета торсионной энергии при структурной реализации Elig-tors, которое составит tEtors=500 тактов. Полученное значение не превышает значение времени обработки для фрагментов R и RT, поэтому структурная реализация процедуры расчета Eug_ton не требует распараллеливания для согласованной работы в едином вычислительном контуре. Вместе с тем, необходимый для её реализации аппаратный ресурс также был сокращен при помощи методов оптимизации 1 и 2, что позволило сократить число устройств с 68 до 51.
При вычислении значений энергии Ван-дер-Ваальса Eng.VDW и электростатического взаимодействия Elig-ES используется принцип суперпозиции полей [2, 3], когда для текущего атома необходимо учитывать влияние всех остальных атомов лиганда, в результате чего многократно (до двух десятичных порядков) возрастает поток промежуточных данных. Время расчета значений этих энергетических составляющих выполняется за время, определяемое по формуле:
tEvdw_ es = 2^ " (tydw + tes ) , (1)
где tvdw - время расчета одного прохода Eug-VDW, tes - время расчета одного прохода
Elig-ES.
Значения Elig-VDW и Elig-ES зависят от одной общей вычисляемой переменной, поэтому целесообразно объединить структурные реализации одной ступени расчета Eng.VDW и Elig_ES в единый фрагмент, чтобы сократить вдвое время обработки. Формула (1) в этом случае примет вид:
N N • (N _ 1)
. _ atom . _ atom У atom ' ф
tEvdw _ es = 2 ^ tydw _ es = 2 ^ ta , (2)
где ta - время обработки одной пары атомов, которое составляет 1 такт работы ПВМ.
Для лиганда максимального размера с числом атомов Natom=200 время расчета электростатической Elig-ES и Ван-дер-Ваальсовой Eng.VDW составляющих общей энергии составит 19900 тактов, что существенно превышает максимальное из достигнутых при реализации фрагментов R,RT, Elig.prot значение в 950 тактов и требует распараллеливания для согласования скорости обработки информации разных фрагментов задачи в едином вычислительном контуре. Степень распараллеливания n в данном случае можно определить как
П = ■
ti
(3)
где (П - наибольшее время выполнения других фрагментов задачи, равное 950 тактам. При 1Е„с1к_е= 19900 и 1Ецё-рг01= 950 необходимая степень распараллеливания п составит примерно 21.
При определении необходимой степени распараллеливания должны учитываться и ограничения по занимаемому ресурсу, которые определяются как
где У0 - объем свободного аппаратного ресурса, У(п) - объем аппаратного ресурса, необходимого для построения вычислительной структуры ЕцёУОц/_Е$ с учетом распараллеливания.
Число устройств, необходимых для реализации одной ступени фрагмента Е^-юш^, равно 33, поэтому при п=21 получим Уш„1(п)=693 устройства.
Свободный аппаратный ресурс ПВМ 16У5-75 для реализации вычислительной структуры Ецё-УОц/_Е$ после размещения вычислительных структур Я, ЯГ и Ецё-рга для реализации вычислительной структуры ЕцёУОц/_Е$ можно оценить по формуле:
где Vp - объем ресурса, эквивалентный всему доступному ресурсу платформы; с - коэффициент, характеризующий долю затрат на блоки объединения и согласования потоков данных между вычислительными структурами и внутри них, для рассматриваемого случая составляет 0,71; Vg - объем ресурса на реализацию фрагментов GEN и MPS; Vg=95; VR - объем ресурса на реализацию фрагмента R; VR =440; VRT - объем ресурса на реализацию фрагмента RT; VRT= 17; VEtors - объем ресурса на реализацию фрагмента Eiig_tors; VEtors=51; VE¡ig.prot - объем ресурса на реализацию фрагмента EUg_prot'; VElig-prot=51.
С помощью несложных вычислений получим V0 =438 устройств.
Поскольку условие (4) не выполняется, то с помощью методов 2 и 3 объем затрачиваемого на реализацию вычислительной структуры Elig_VDW_ES аппаратного ресурса сократим в 1,5 раза - с 33 до 21 устройства. Затем, поскольку дальнейшая редукция вычислительного графа невозможна, степень распараллеливания необходимо сократить до значения n=20, что обеспечит выполнение условия (6). Время обработки лиганда с числом атомов N=200 в этом случае составит:
Таким образом, имеющиеся в структуре задачи фрагменты по скорости обработки данных можно разделить на две группы:
♦ фрагменты Я, ЯТи (не более 600 тактов);
♦ фрагменты Eug_vDW-.Es, Ецё.рго, (не более 1000 тактов).
Для согласования скорости обработки между этими группами наиболее простым решением, которое и было реализовано, явилось замедление скорости входного потока данных в соответствии со скоростями обработки на самом медленном участке задачи Euí,vDW-Es.
Фрагменты задачи докинга в едином вычислительном контуре. В результате была синтезирована структура вычислительного конвейера, обеспечивающего полное решение задачи на РВС, представленная на рис. 1.
(4)
Vq = с X Vp - - Vr - VRT - Ve
7 — V
Etors Elig -prot ■>
t Evdw _ es
= 995 тактов.
n
Рис. 1. Структура вычислительного конвейера
Разработанная вычислительная структура с учетом архитектурных особенностей ПВМ 16V5-75 была отображена на структуру вычислительного поля 16V5-75, результат отображения представлен на рис. 2.
Рис. 2. Отображение основных фрагментов задачи докинга на структуру ПВМ
Ш5-75
Общий объем задействованного оборудования на построение вычислительных блоков составил 1078 устройств, реализующих 32-разрядные математические операции в стандарте IEEE754. В результате применения методов оптимизации было достигнуто 4-кратное сокращение объема используемого оборудования при сохранении заданной скорости решения задачи.
Результаты вычислительных экспериментов. Для проверки, оценки и обобщения результатов реализации задачи докинга на РВС был проведен ряд вычислительных экспериментов для четырех тестовых выборок, две из которых содержат молекулы с одинаковым числом атомов (48 и 52) и разным количеством торсионных степеней свободы, третья выборка состоит из молекул с одинаковым количеством торсионных степеней свободы, равным 7, но разным числом атомов, а четвертая выборка состоит из молекул с большим количеством атомов (до 198) и большим числом торсионных степеней свободы (до 18) [4, 5].
Оценка проводилась сравнением времени выполнения задачи молекулярного докинга на нескольких вычислительных системах:
♦ на персональных компьютерах, оснащенных процессорами Intel Core2Duo 3 ГГц, оперативной памятью объемом 2 Гбайт;
♦ на одном стандартном вычислительном узле суперкомпьютера СКИФ МГУ «Чебышев» (2 четырехъядерных процессора Intel Xeon E5472 3.0 ГГц, имеющих общую оперативную память объемом 8 Гбайт), (НИВЦ МГУ имени М.В. Ломоносова);
♦ на нескольких (до 32 процессоров) вычислительных узлах суперкомпьютера СКИФ МГУ «Чебышев» (НИВЦ МГУ имени М.В. Ломоносова);
♦ на ПВМ 16V5-75.
Для экспериментов по сравнению времени работы программы на РВС и кластерной системе стандартной архитектуры использовалась параллельная версия программы докинга SOL.
При докинге молекул тестовых выборок на РВС (ПВМ 16V5-75) была достигнута реальная производительность 125,7 Гфлопс, что составляет 89,8% от пиковой производительности.
В результате выигрыш ПВМ 16V5-75 во времени докинга для одного поколения из 30000 особей по сравнению с Intel Core2Duo 3 ГГц в зависимости от числа атомов и торсионных связей составил от 35 до 90 раз; выигрыш по сравнению со стандартным вычислительным узлом суперкомпьютера СКИФ МГУ «Чебышев» - от 6 до 15 раз; по сравнению с 32 процессорами суперкомпьютера СКИФ МГУ «Чебышев» - от 3 до 5 раз.
Заключение. Особенности организации вычислений в параллельной версии программы докинга SOL приводят к интенсивному обмену MPI-сообщениями, в результате чего на скорость решения задачи, в основном, начинает влиять латентность MPI-системы, а не скорость передачи данных. Для числа процессов больше, чем 30, время, затрачиваемое на синхронизацию, оказывается сравнимым со временем, затрачиваемым на расчеты, поэтому оптимальное число процессоров для одного независимого запуска программы составляет 32, а максимальное значение ускорения, достигаемое на 32-х процессорах, - 5 раз. Дальнейшее увеличение количества процессоров не повлияет на ускорение одного независимого запуска, а с учетом дополнительной нагрузки на MPI-сеть в ходе обмена информацией между процессами будет наблюдаться даже замедление работы программы.
Значение ускорения выполнения программы на РВС существенно зависит от размера рассчитываемой молекулы: чем больше количество атомов и торсионных степеней свободы, тем значительнее выигрыш во времени решения задачи на РВС по сравнению с вычислительными системами традиционной архитектуры. Это
связано, прежде всего, с гораздо более эффективным способом параллельной организации вычислений и меньшими накладными расходами на организацию вычислительного процесса на специализированных вычислительных системах, чем на кластерах стандартной архитектуры. ПВМ 16V5-75 обеспечивает многократный выигрыш в скорости докинга, доходящий до 70 раз для одного поколения популяции, который практически линейно увеличивается с увеличением числа атомов в лиганде и числа торсионных связей до их максимальных значений.
Полученные экспериментальные результаты позволяют сделать вывод о том, что использование РВС для докинга сложных органических молекул обеспечивает существенное ускорение: не менее чем на один десятичный порядок при пересчете на один процессор по сравнению с вычислительными системами традиционной архитектуры. Таким образом, применение РВС для суперкомпьютерного молекулярного моделирования позволяет существенно сократить время моделирования и материальные затраты на создание эффективных лекарственных средств нового поколения.
БИБЛИОГРАФИЧЕСКИЙ СПИСОК
1. Молекулярная стыковка: НИр://га.-мк1рейа.о^/-так1/Докинг.
2. Романов А.Н., Кондакова О.А., Григорьев Ф.В. и др. Компьютерный дизайн лекарственных средств: программа докинга SOL // Вычислительные методы и программирование. - 2008. - Т. 9. - С. 213-233.
3. Генетический алгоритм ННр://т.-шк1рейа.о^М1к1/Генетические_алгоритмы.
4. AutoDock. http://autodock.scripps.edu/.
5. Каляев И.А., Левин И.И., Семерников Е.А., Шмойлов В.И. Реконфигурируемые мульти-конвейерные вычислительные структуры. - 2-е изд. перераб., доп. / Под общ. ред. И.А. Каляева. - Ростов-на-Дону: Изд-во ЮНЦ РАН, 2009. - 344 с.
Статью рекомендовал к опубликованию д.т.н., профессор Я.Е. Ромм.
Левин Илья Израилевич - Научно-исследовательский институт многопроцессорных вычислительных систем имени академика А.В. Каляева федерального государственного автономного образовательного учреждения высшего профессионального образования «Южный федеральный университет»; e-mail: levin@mvs.tsure.ru; 347922, г. Таганрог, ул. Ленина, 224/1, кв. 65; тел.: 88634623226; зам. директора по науке; д.т.н.
Сорокин Дмитрий Анатольевич - e-mail: jotun@inbox.ru; 347922, г. Таганрог, пер. Украинский, 21, кв. 30; тел.: 88634393820; н.с.
Дордопуло Алексей Игоревич - Учреждение Российской академии наук «Южный научный центр РАН»; e-mail: scorpio@mvs.tsure.ru; 347900, г. Таганрог, 10-й переулок, 114/1, кв. 6; тел.: 88634368651; сн.с. отдела ИТ и ПУ; к.т.н.
Levin Ilya Israilevich - Kalyaev Scientific Research Institute of Multiprocessor Computer Systems at Southern Federal University; e-mail: levin@mvs.tsure.ru; 224/1, Lenin street, ap. 65, Taganrog, 347922, Russia; phone: +78634623226; deputy director of science; dr. of eng. sc.
Sorokin Dmitry Anatolievich - e-mail: jotun@inbox.ru; 21, Ukrainskiy lane, ap. 30, Taganrog, 347922, Russia; phone: +78634393820; scientific associate.
Dordopulo Alexey Igorevich - Southern Scientific Centre of the Russian Academy of Sciences; e-mail: scorpio@mvs.tsure.ru; 114/1, 10th lane, ap. 6, Taganrog, 347900, Russia; phone: +78634368651; senior staff scientist; cand. of eng. sc.
