Научная статья на тему 'Методики інтеграції програмної архітектури віртуальної лабораторії MolDynGrid з локальними системами керування завданнями HTCondor та PBS'

Методики інтеграції програмної архітектури віртуальної лабораторії MolDynGrid з локальними системами керування завданнями HTCondor та PBS Текст научной статьи по специальности «Математика»

CC BY
122
12
i Надоели баннеры? Вы всегда можете отключить рекламу.
Ключевые слова
ГРИД / АВТОМАТИЗАЦИЯ / МОЛЕКУЛЯРНАЯ ДИНАМИКА / ВЫЧИСЛИТЕЛЬНЫЙ КЛАСТЕР / GRID / AUTOMATION / MOLECULAR DYNAMICS / COMPUTATIONAL CLUSTER

Аннотация научной статьи по математике, автор научной работы — Орда В.В., Борецький О.Ф., Сальніков А.О., Корнелюк О.І.

В статье проведен анализ особенностей запуска прикладного программного обеспечения виртуальной лаборатории MolDynGrid. Сформированы методики автоматизации запуска задач на вычислительные кластеры под управлением систем HTCondor и PBS. Предложенные методики реализованы в виде программных модулей, что позволило использовать единый программный интерфейс для запуска задач на вычислительные ресурсы грид-инфраструктуры и локальные кластеры. Предложены подходы, позволяющие адаптировать и дополнять методики для использования других вычислительных ресурсов.

i Надоели баннеры? Вы всегда можете отключить рекламу.

Похожие темы научных работ по математике , автор научной работы — Орда В.В., Борецький О.Ф., Сальніков А.О., Корнелюк О.І.

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.
i Надоели баннеры? Вы всегда можете отключить рекламу.

Analysis of features of MolDynGrid virtual laboratory application software running was conducted. Automation methods of task submitting on computing clusters managed by HTCondor and PBS systems were formed. The proposed methods were implemented as software modules for existing solution that allows using a single software interface to run tasks on both computing resources of grid-infrastructure and computing clusters. Approaches that allow adapting and complementing methods of usage of different computing resources were proposed.

Текст научной работы на тему «Методики інтеграції програмної архітектури віртуальної лабораторії MolDynGrid з локальними системами керування завданнями HTCondor та PBS»

УДК 004.75

В.В. ОРДА*, О.Ф. БОРЕЦЬКИЙ*, А.О. САЛЬН1КОВ*, О.1. КОРНЕЛЮК*

МЕТОДИКИ 1НТЕГРАЦП ПРОГРАМНО1 АРХ1ТЕКТУРИ В1РТУАЛБНО1 ЛАБОРАТОР11 MOLDYNGRID З ЛОКАЛЬНИМИ СИСТЕМАМИ КЕРУВАННЯ ЗАВДАННЯМИ HTCONDOR ТА PBS

Кшвський нацiональний ушверситет iMeHi Тараса Шевченка, м. Ки!'в, Украша 1нститут молекулярно!' бюлогп i генетики НАН Укра!'ни, м. Ки!в, Украша

Анотаця. У cmammi проведено аналгз особливостей запуску прикладного програмного забезпечен-ня вiртуалъноi лабораторп MolDynGrid. Сформовано методики автоматизацп запуску задач на обчислювалън кластери тд управлтням систем HTCondor та PBS. Запропонован методики реа-лiзованi у виглядi програмних модулiв, що дозволило використовувати единий програмний ттер-фейс для запуску задач на обчислювалън ресурси грiд-iнфраструктури та на локалън кластери. Запропоновано тдходи, що даютъ можливiстъ адаптувати та доповнювати методики для вико-ристання тших обчислювалънихресурав.

Ключовi слова: грiд, автоматизащя, молекулярна динамiка, обчислювалъний кластер.

Аннотация. В статъе проведен анализ особенностей запуска прикладного программного обеспечения виртуалъной лаборатории MolDynGrid. Сформированы методики автоматизации запуска задач на вычислителъные кластеры под управлением систем HTCondor и PBS. Предложенные методики реализованы в виде программных модулей, что позволило исполъзоватъ единый программный интерфейс для запуска задач на вычислителъные ресурсы грид-инфраструктуры и ло-калъные кластеры. Предложены подходы, позволяющие адаптироватъ и дополнятъ методики для исполъзования других вычислителъныхресурсов.

Ключевые слова: грид, автоматизация, молекулярная динамика, вычислителъный кластер.

Abstract. Analysis offeatures of MolDynGrid virtual laboratory application software running was conducted. Automation methods of task submitting on computing clusters managed by HTCondor and PBS systems were formed. The proposed methods were implemented as software modules for existing solution that allows using a single software interface to run tasks on both computing resources of grid-infrastructure and computing clusters. Approaches that allow adapting and complementing methods of usage of different computing resources were proposed. Keywords: grid, automation, molecular dynamics, computational cluster.

1. Вступ

Метод комп'ютерного моделювання молекулярно! динамши (МД) - теоретичний метод дослщження поведшки бюлопчних макромолекул та молекулярних систем. Розроблений на засадах теоретично! ф1зики, метод молекулярно! динамши широко використовуеться в комп'ютернш структуршй бюлогп та бюф1зищ. В основу методу покладений чисельний розрахунок класичних траекторш руху макромолекул у фазовому простор! координат та ¡мпульав 1х атом1в [1].

1нтенсивш дослщження конформацшно! рухливосп бшюв та 1х комплекав методом моделювання молекулярно! динамши в останш роки проводяться i в Укра!ш, зокрема, в Институт молекулярно! бюлогп та генетики (IMEir) Нацюнально! академп наук Укра!ни [2].

Для розрахунк!в молекулярно! динамши необхщш значш комп'ютерш ресурси: час обчислення одше! траекторп у наносекундному д!апазош, як правило, перевищуе кшька мюящв на одному процесор!, загальний розм!р файл!в з результатами моделювання може перевищувати 250 Гбайт. Багато застосувань вимагають одночасно! обробки декшькох

© Орда В.В., Борецький О.Ф., Сальшков А.О., Корнелюк О.1., 2017 ISSN 1028-9763. Математичш машини i системи, 2017, № 3

2 • «-»

(~10 ) траeкторiй i повиннi враховувати вплив температури, початкових умов, значно! kï-лькостi статистичних даних.

Одним Ï3 iнструментiв, що дае можливiсть задовольнити потреби у таких значних обчислювальних ресурсах та ресурсах збер^ання даних, е обчислювальний грiд. Так, у 2008 р. для виршення задач у галузях структурно!' бюлогп та бiоiнформатики на баз1 1н-ституту молекулярно! бюлогп i генетики НАН Украши була заснована вiртуальна лабора-торiя MolDynGrid (http ://moldyngrid.org). Лабораторiя надае науковцям зручний шструмен-тарiй для проведення розрахунюв молекулярно'1 динамiки бiологiчних макромолекул (бш-кiв, нуклешових кислот та 1'хшх комплексiв) у водно-iонному оточенш з наближенням до фiзiологiчних умов [3-4]. З використанням сервiсiв MolDynGrid на сьогодш проводяться дослiдження молекулярно'1 динамiки амiноацил-тРНК синтетаз та ïx мутантних форм, що е ключовими ферментами на дорибосомному етапi бюсинтезу протйшв. За результатами дослiджень було тдтверджено гiпотезу Шиммеля про вщсутнють цитокшово1 активностi (проангiогеннi властивостi, що полягають у стимуляцп розвитку кровоносних судин) за рахунок екранування цитокшового ELR-мотиву в повнорозмiрнiй структурi тирозил-тРНК синтетази людини [5-6]. Даний цитокшовий мотив дае змогу виступати як протизапальний цитокш, як iнтерлейкiн 8 (англ. Interleukin-8, IL-8) [7]. Виявлено локальнi конформацiйнi змiни з формуванням ^-структурних елементiв у СР1-вставцi згортки Россмана для мутантних форм G41R i del153-156VKQV тирозил-тРНК синтетази людини, що асоцшоваш з нейролопчним захворюванням Шарко-Марi-Туса (DI-CMTC) [8]. Запропоновано нову роль неструктуровано'' петлi СР1 вставки при взаемодп з низькомолекулярними субстратами [9].

Як i вщображае назва ще' вiртуальноï лабораторп, цiльовими ресурсами, якi надавали обчислювальш потужностi для розрахункiв молекулярно! динамiки, були ресурси укра-1нсько1 нацюнально1 грiд-iнфраструктури. MolDynGrid е частиною проекту розвитку грщ-сегмента Нацюнально1 академп наук Украши на базi обчислювальних кластерiв, що вхо-дять у цей грщ-сегмент.

З розвитком вiртуальноï лаборатор11 змiнювався ïï програмний iнструментарiй та залучались все новi й новi обчислювальнi ресурси, що використовуються для вирiшення задач. За роки ствпращ з EGI (European Grid Infrastructure) для MolDynGrid стали доступш таю ресурси европейсько1 грщ-шфраструктури, як EGI Federated Cloud, LRZ Linux Cluster (Leibniz Supercomputer Center) та болгарський обчислювальний кластер у Софп (в рамках проекту Virtual Team GPGPU).

Однак варто зауважити, що юнують iншi ресурси, яю не е елементами укра1нсько1 нацiональноï грiд-iнфраструктури, але також дозволяють ïx використання для виконання обчислень шляхом локального запуску задач. Зокрема, розробка методик для використання локальних ресурсiв актуальна i для залучення хмарних ресурсiв у виглядi окремо запуще-них не пов'язаних вiртуальниx машин.

Тому, незважаючи на початкову орiентацiю на грщ, наявнiсть доступних для ВЛ ге-терогенних платформ (включаючи хмарш ресурси) поза грiд-iнфраструктурою обумовлюе необхщшсть подальшого розвитку програмних засобiв MolDynGrid для прозорого залучення таких ресурав. Найбiльш популярними локальними системами керування завдань, доступних для використання у MolDynGrid, е PBS та НТCondor. Питанням штеграцп з такими платформами i призначена дана робота.

2. Анал1з поточно!' програмноУ 1нфраструктури MolDynGrid

Поточна програмна шфраструктура вiртуальноï лабораторiï MolDynGrid (рис. 1) орiенто-вана на використання грiд-сервiсiв i була спрямована на виршення грiд-специфiчниx задач для забезпечення життевого циклу моделювання МД на розподшених ресурсах та iнтегра-цiю збер^ання даних у грiд.

Мо1с1уп5иЬ_Си Рис. 1. Структура ВЛ MolDynGrid

Для користувачiв, якi не мають значного досвiду роботи з грщ-шфраструктурою та з 11 користувацьким програмним забезпеченням, був створений веб-портал. Вш складаеть-ся з розрахункового, аналгтичного, навчального блокiв i баз даних для ресурсiв, необхiд-них для виконання обчислень.

Для того, щоб надати можливiсть бiльш гнучко керувати запуском ПЗ користува-чам, яю знають особливостi архiтектури грщ та детальнi параметри використання програ-много забезпечення, був розроблений модульний застосунок з штерфейсом командного рядка тоЫумиЬ_СЦ який i автоматизуе процеси запуску задач у грщ-шфраструктуру. Ршення дозволяе динамiчно завантажувати та обирати таю категорп модулiв (рис. 2):

• модул^ якi забезпечують запуск прикладного програмного забезпечення;

• модул^ яю забезпечують зв'язок з обчислювальними iнфраструктурами;

• модулi, якi забезпечують зв'язок з веб-порталом вiртуальноi лабораторп i дозво-ляють здшснювати мошторинг та керування запущених задач.

Рис. 2. Компоненти moldynsub_CLI

Модуль для зв'язку з обчислювальними шфраструктурами виконуе запуск задач на той чи шший обчислювальний ресурс грiд-iнфраструктури. Даний модуль реалiзований з урахуванням особливостей взаемодп з вiдповiдними системами керування завданнями.

Розглянемо детальшше структуру шфраструктурного модуля moldynsub_CLI. Вiн складаеться з кшькох компонентiв, що вiдповiдають етапам запуску задачi на обчислюва-льш ресурси:

• авторизащя (authorization);

• завантаження вхщних та вихщних файлiв (data staging);

• створення файла опису задачi (job description);

• запуск задачi (job submission).

На вхiд moldynsub_CLI передаеться файл з параметрами запуску задач^ пiсля чого модуль формуе файл опису задачi вiдповiдно до обрано'1 iнфраструктури.

Технологiчний ланцюжок функщонування moldynsub_CLI для запуску завдання в грщ-шфраструктуру такий:

1. Створення шаблона файла, що мiстить параметри запуску задачi з урахуванням особливостей шфраструктури (можливiсть задати необхiднi параметри виконання: кшь-кiсть процесорiв, обсяг пам'ят i т.д.) та прикладного ПЗ (верая ПЗ, список вхiдних фай-лiв). Даний файл може бути змшений перед запуском задачi на виконання.

2. Зчитування файла конф^урацп для визначення параметрiв роботи утилгги ^рту-ально'1 оргашзацп, вiд iменi яко'1 здiйснюеться доступ до ресурав грiд; ПЗ та шфраструкту-ра, що використовуються за замовчанням; URL, що вказуе на директора для завантаження вхщних та вихiдних файлiв i т.д.).

3. Встановлення змшних оточення, що визначають параметри роботи уташти (назви файлiв опису задачi та безпосередньо виконуваного файла, параметри ПЗ).

4. Генеращя проксi-сертифiката делегацп повноважень у грiд. Для доступу до ресу-рсiв грiд-iнфраструктури необхщна наявнiсть проксi-сертифiката, що свiдчить про належ-нiсть до певноï вiртуальноï оргашзацп, вiд iменi якоï i здшснюеться запуск задач.

5. З'еднання з веб-порталом для реестраци ново'1 задачi.

6. Створення виконуваного файла, який i буде завантажений та запущений на обчи-слювальних ресурсах.

7. Створення списку вхщних файшв та ïx завантаження на елементи збер^ання да-них грщ-шфраструктури. Пiд час виконання задачi цi файли будуть доступш у виглядi списку URL-посилань. Для доступу до цих файлiв необхщний проксi-сертифiкат, згенеро-ваний у п. 4.

8. Створення списку вихщних файлiв. Формуеться список URL-посилань, яю вка-зують на розташування, куди будуть вивантажеш виxiднi файли тсля завершення обчис-лень.

9. Створення файла опису задачi вiдповiдно до обрано'1 обчислювально'1 iнфраструк-тури. Даний файл е вхщним файлом пiд час запуску задачi i мiстить параметри запуску (як параметри само! задачi - час виконання, назва i т.д., так i параметри обчислень - необхщну кшьюсть пам'ят^ процесорiв i т.д.).

10. Запуск задачi на обрану обчислювальну iнфраструктуру.

11. З'еднання з веб-порталом для змши статусу задачi пiсля виконання обчислень.

Особливосп роботи даноï утилiти необхщно вiдобразити на локальнi системи керу-

вання задачами (ЛСКЗ) HTCondor та PBS. У робо^ було проведено аналiз життевого циклу завдань у таких системах, зокрема, проаналiзовано доступний синтаксис опису задачi та можливосп роботи з вxiдними i вихщними файлами.

3. Анал1з особливостей запуску завдань у ЛСКЗ HTCondor та PBS

Portable Batch System або PBS - програмне забезпечення для керування розподшеними обчисленнями, яке було розроблено у NASA i зараз е де-факто стандартною системою на обчислювальних кластерах, що працюють тд керуванням ОС амейства Unix/Linux. Зокрема, переважна бшьшють локальних кластерiв в Укршш працюе пiд керуванням системи PBS.

HTCondor - це програмна система, яка реалiзуе середовище з високою пропускною здатнiстю (HTC). High-Throughput Computing (HTC) - обчислювальна парадигма, яка фо-

кусусться на ефективному виконанш великого числа слабкопов'язаних завдань, у той час, як системи високопродуктивних обчислень, як правило, зосереджеш на тюнопов'язаних паралельних задачах та принципах ix виконання в межах певного середовища з невеликими затримками з'еднань [10].

Ресурси тд керуванням вищевказаних систем надають значнi обчислювальнi поту-жност (наприклад, у OpenScienceGrid щоденно виконусться бiльше 300 тисяч задач, яю використовують бiльше 3*106 годин процесорного часу [11]), тому ix використання дозволить науковцям прискорити та збшьшити ефективнють проведення дослiджень.

Однак кожна з цих систем мае власш методи запуску задач, мови опису задач, ме-тоди роботи з вхщними та вихщними файлами. Важливою задачею при штеграцп PBS та HTCondor у moldynsub_CLI е досягнення единого ушфшованого iнтерфейсу для запуску задач як у грщ, так i в ЛСКЗ. Користувач матиме можливють ознайомитися з утил^ою та навчитися користуватися нею на локальнш тестовiй системi, пiсля чого за допомогою тих самих засобiв здiйснюватиме запуск задач на значних обчислювальних потужностях неза-лежно вщ ix системи керування (грiд-iнфраструктура, HTCondor чи PBS).

Результати аналiзу архггектур HTCondor та PBS на вщповщшсть компонентам ш-фраструктурного модуля moldynsub_CLI представленi у табл. 1.

Таблиця 1. Вiдповiднiсть мiж архiтектурою ЛСКЗ HTCondor i PBS та компонентами moldynsub_CLI_

HTCondor PBS

Авторизащя Запуск задач вщбуваеться з окремого «submit-вузла», на якому працюе так званий «shadow»-процес, який виконуе роль менеджера ресурав для кожно'1 задача Необхiдно реалi-зувати додатковий модуль для входу на цей вузол за допомо-гою SSH Ресурси пiд керуванням PBS, як правило, е локальними кластерами, тому необхщно реалiзува-ти додатковий модуль для входу на вузли цих кластерiв за допомогою SSH

Завантаження файлiв У HTCondor юнуе декiлька се-редовищ (так званий «universe»), якi визначають осо-бливостi виконання задач. За-вантаження та вивантаження файшв за URL пiдтримуеться не в уах середовищах, тому для забезпечення бшьш повно'' тд-тримки роботи з даною системою потрiбно реалiзувати дода-тковий функцюнал для котю-вання файлiв на вщдалений об-числювальний вузол (напри-клад, за допомогою утил^и SCP) PBS розроблявся як локальна система керування задачами, тому вш не тдтримуе завантаження та вивантаження файлiв за URL. Необхiдно збер^ати файли локально пiд час запуску задачi та реалiзувати додатковий функщонал для ix копiювання на вiд-далений обчислювальний вузол (наприклад, за допомогою ути-лiти SCP)

Створення файла опису задачi Система мае власний синтаксис файла опису задач^ зокрема, вона дозволяе гнучко визначити ресурси, необхiднi для виконан- Система мае власний синтаксис файла опису задач^ надае мож-ливiсть явно вказати командну оболонку, яка буде використана

Продовження табл. 1

ня задачi за допомогою системи ClassAds для запуску виконавчого файла i мае набiр змшних середовища, що дозволяють визначати пара-метри запуску задачi

Запуск задачi Запуск та керування задачами вщбуваеться за допомогою окремих утилiт системи (напри-клад, condor_submit, condor_q, condor rm) Запуск та керування задачами вiдбуваеться за допомогою окремих утил^ системи (напри-клад, qsub, qstat, qdel)

Вщповщно до проведеного аналiзу запропоновано таку модифковану методику запуску задачi на ЛСКЗ HTCondor, яка iнтегруeться в юнуючий процес забезпечення житте-вого циклу задач у moldynsub_CLI (новi та змшеш етапи виконання видiленi курсивом):

1. Створення шаблона файла з параметрами запуску задача

2. Зчитування файла конфкураци для визначення параметрiв роботи утилiти.

3. Встановлення необхщних змiнних оточення.

4. Генерацiя прока-сертифката.

5. З'еднання з веб-порталом для реестраци ново'1 задачi.

6. Створення списку вхщних файлiв та ix завантаження на елементи зберiгання да-них грiда.

7. На етат попереднього створення сценарiю виконання (новий етап у послщовнос-тi запуску moldynsub_CLI) у виконуваний файл додаються команди для реалiзацii таких дш:

a) збереження файла з проксьсертифкатом у текстовому виглядi в тш сценарiю;

b) завантаження портативного ^ента для роботи з iнфраструктурою зберкання

грiд;

c) встановлення змiнних середовища для роботи клiента з п. 6 b;

d) завантаження вхщних файлiв за URL-посиланнями з елемешив зберiгання даних грiд-iнфраструктури.

8. Додавання команд, якi безпосередньо запускають обчислення.

9. Створення списку вихщних файлiв.

10. Створення файла опису задача

11. У виконуваний файл додаються команди для вивантаження вихiдних файлiв на елементи зберiгання даних грщ-шфраструктури пiсля завершення обчислень за допомогою портативного клiента.

12. Копiювання виконуваного файла та файла опису задачi на submit-вузол HTCondor, з якого можливий запуск задач.

13. Запуск задачi на обрану обчислювальну шфраструктуру шляхом входу на submit-вузол за допомогою SSH.

14. З'еднання з веб-порталом для змши статусу задачi тсля виконання обчислень. Методику запуску задачi у системи тд керуванням PBS пропонуеться реалiзувати таким чином:

1. Огворення шаблона файла з параметрами запуску задача

2. Зчитування файла конфкураци для визначення параметрiв роботи утилiти.

3. Встановлення необхщних змшних середовища.

4. Генерацiя прока-сертифката.

5. З'еднання з веб-порталом для реестраци ново'1' задачi.

6. Створення списку вхщних файшв та ix завантаження на елементи зберiгання даних грща.

7. Система PBS не потребуе окремих файлiв опису задачi та виконуваного файла, тому у даному випадку единий файл мютить як команди виконання обчислень, так i пара-метри запуску. На етат попереднього створення сценарiю виконання у файл опису задачi додаються команди для реалiзащi таких дiй:

a) збереження файла з проксьсертифшатом у текстовому виглядi в тiлi сценарiю;

b) завантаження портативного клiента для роботи з шфраструктурою зберiгання

грiд;

c) встановлення змшних середовища для роботи ^ента з п. 6b;

d) завантаження вхiдних файлiв за URL-посиланнями з елементiв зберiгання даних грщ-шфраструктури.

8. Додавання команд, що безпосередньо запускають обчислення у файл опису зада-

4i.

9. Створення списку вихщних файлiв.

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.

10. У файл опису задачi додаються команди для вивантаження вихщних файшв на елементи збер^ання даних грiд-iнфраструктури пiсля завершення обчислень за допомогою портативного ^ента.

11. Копiювання файла опису задачi на вузол, що працюе пщ керуванням PBS.

12. Запуск задачi на обрану обчислювальну iнфраструктуру шляхом входу на вузол, куди був скопшований виконуваний файл.

13. З'еднання з веб-порталом для змши статусу задачi тсля виконання обчислень. Вищеописаш методики реалiзованi в moldynsub_CLI шляхом додавання вщповщних

iнфраструктурних модулiв та нових умовних етатв у процес роботи уташти.

Для доступу до елементсв зберiгання даних грiд-iнфраструктури було створено мшь мальний дистрибутив портативного ^ента на базi пакетiв EMI-UI-3.17.1, який доступний з веб-порталу вiртуальноi лабораторп MolDynGrid. Даний клiент дозволяе котювати фай-ли з елемешив зберiгання даних та на них.

Рис. 3. Модифшована архитектура утил1ти moldynsub_CLI

На рис. 4 та 5 наведено приклад використання оновлено'1' утилiти для запуску за-вдань на системи пщ керуванням HTCondor.

[orda@localhost nair.d] ir.oldyns.ib_C LI --software naiad --infrastructure condor INFO: Generating proxy certificate for VO moldyngrid

Contacting V0M5 server (nair.ed ir.oldyngrid) : vorr.3 . grid. org. ла on port: 15110

Transfering ; ob input data to sriu://se . irabg. org. ua/pnf s/iribg. or g. ua/data/raoldyng

moldynsub.20170620184029.condor 100% 302 О.ЗКБ/s 00:00

maldynsub.20170620184029.script 100% 9000 8.8KE/S 00:00

Рис. 4. Вивiд консолi пiд час запуску 3a4a4i у систему HTCondor

СНТС:ТО subrait-5 [nu_andrii -]$ condor_q

— Schedd: submic-5. elite, wise, edu : <128.104.101.92:9618?... @ 06/21/17 07:45:45

OWNER ВЙТСН ИЙНЕ SUBMITTED DONE ROT IDLE TOTAL J03_IDS

n'j_ändrii CMD: moldjnsub.20170621135209.script 6/21 07:44 _ 1 _ 1 46323587.0

1 jobs; 0 completed, 0 rerr.oved, 0 Idle, 1 running, 0 neld, 0 suspended

Рис. 5. Вивщ консолi 3i списком запущених задач HTCondor на кластерi University of Wisconsin-Madison, США

На рис. 6 та 7 наведено приклад використання оновлено'1 утил^и moldynsub_CLI для запуску завдань на обчислювальний кластер тд керуванням PBS. Як видно з рис. 6, единий програмний штерфейс користувача надае можливiсть запуску задач на обчислюва-льнi ресурси тд керуванням PBS в КНУ iменi Тараса Шевченка, IМБiГ та бшьшють лока-льних кластерiв Украши.

[orda@localnost narc.d] £ ir.oldyns jt_CLI —software najr.d —infrastructure phs

INFO: Generating ргому certificate for VO moldyngrid

Your identity: /C=UА/0=KNU/OU= P e op1e/L=RPD/CH=Vittоr Or da

Contacting VOM5 server (najr.ed ir.oldyngrid) : voras.grid.org.ua on port: 15110

Tian3feiing job input data to srm://se.imbg.org.ua/pnfs/inibg.org.ua/data/moldyngrid/

E.oldynsjt.20170 621160 343.Et3 100% Э143 В.ЭКБ/s 00:00

Рис. 6. Вивщ консол1 тд час запуску задач1 у систему PBS

^ofc ID Usernsif.e Queue ^ofcnsir.e SessID NDS Г5К Memory Tirr.e 5

254Э407 tt>141 rr.ono_sho mds_namd_1498050 21013 1 1 lgt 01:00:00 R

Рис. 7. Вивщ консол1 з1 списком запущених задач PBS на обчислювальному кластер1

КНУ 1меш Тараса Шевченка

4. Висновки

Аналiз особливостей керування прикладним ПЗ у вiртуальнiй лабораторп MolDynGrid дозволив визначити шляхи штеграци гетерогенних обчислювальних ресурсiв поза межами грщ-шфраструктури до програмних засобiв лабораторп.

Запропонованi методики автоматизацп запуску задач розрахунку траекторш моле-кулярно! динамiки безпосередньо на обчислювальнi кластери тд управлiнням систем HTCondor та PBS дозволили запровадити единий програмний штерфейс для запуску задач у грщ-шфраструктури та iншi гетерогеннi обчислювальш ресурси.

Реалiзацiя запропонованих методик у складi програмних модулiв moldynsub_CLI дозволила вiртуальнiй лабораторп MolDynGrid використовувати обчислювальш ресурси кластерiв, не пiд'еднаних до грщ, зокрема, ресурси розподшено!' обчислювально'1 шфра-структури HTCondor США.

Завдяки вщокремленню етапу завантаження вхiдних та вихщних файлiв при роботi з шфраструктурою зберiгання даних грiд, запропоноваш методики можуть бути адаптованi для використання шших обчислювальних ресурсiв, у тому чист хмарних технологiй.

Подяка

Роботу пщтримано грантами Державно! цшьово'1 науково-техшчно! програми впроваджен-ня i застосування грiд-технологiй на 2009-2013 роки та комплексно! цшьово'1 програми НАН Украши «Грщ-шфраструктура, грщ-технологл для наукових i науково-прикладних застосувань» 2014-2017 рр. Автори висловлюють подяку О.В. Савицькому за обговорення результа^в.

СПИСОК Л1ТЕРАТУРИ

1. Шайтан К.В. Метод молекулярной динамики [Электронный ресурс] / К.В. Шайтан, С.С. Сарай-кин. - 1999. - Режим доступа: www.moldyn. ru/library/md.

2. 1нтегроване середовище в1ртуально1' лабораторп' MolDynGrid для розрахунюв молекулярно1' ди-нам1ки б1опол1мер1в / А.О. Сальн1ков, О.О. Судаков, О.В. Савицький [та ш.] // Медична шформати-ка та 1нженер1я. - 2010. - № 1. - С. 24 - 33.

3. Virtual Laboratory as a part of Ukrainian Academic Grid infrastructure / A.O. Salnikov, I.A. Sliusar, O.O. Sudakov [et al.] // Proc. of IEEE International Workshop on Intelligent Data Acquisition and Advanced Computing Systems: Technology and Applications, 2009. - P. 237 - 240.

4. Virtual laboratory MolDynGrid as a part of scientific infrastructure for biomolecular simulations / A. Salnikov, I. Sliusar, O. Sudakov [et al.] // International Journal of Computing. - 2010. - Vol. 9, N 4. -P. 294 - 300.

5. Savytskyi O.V. Asymmetric structure and domain binding interfaces of human tyrosyl-tRNA synthetase studied by molecular dynamics simulations / O.V. Savytskyi, S.O. Yesylevskyy, A.I. Kornelyuk // J Mol Recognit. - 2013. - Vol. 26, N 2. - P. 113 - 20.

6. Interdomain compactization in human tyrosyl-tRNA synthetase studied by the hierarchical rotations technique / S.O. Yesylevskyy, O.V. Savytskyi, K.A. Odynets [et al.] // Biophysical Chemistry. - 2011. -Vol. 154, N 2 - 3. - P. 90 - 98.

7. Crystal structure of a human aminoacyl-tRNA synthetase cytokine / X.-L. Yang, R.J. Skene, D.E. McRee [et al.] // Proc. Natl. Acad. Sci. U. S. A. - 2002. - Vol. 99, N 24. - P. 15369 - 15374.

8. Savytskyi O.V. Computational modeling of molecular dynamics of G41R mutant form of human tyro-syl-tRNA synthetase, associated with Charcot-Marie-Tooth neuropathy / O.V. Savytskyi, A.I. Kornelyuk // Ukr Biochem J. - 2015. - Vol. 87, N 6. - P. 142 - 53.

9. Computational modeling and molecular dynamics simulations of mammalian cytoplasmic tyrosyl-tRNA synthetase and its complexes with substrates / V.O. Kravchuk, V.O. Savytskyi, K.O. Odynets [et al.] // J Biomol Struct Dyn. - 2016 (у друщ, DOI: 10.1080/07391102.2016.1235512).

10. High Throughput Computing [Електронний ресурс]. - Режим доступу: https://wiki.egi.eu/wiki/Glossary V1#High Throughput Computing.

11. OSG Usage Graphs [Електронний ресурс]. - Режим доступу: http://display.grid.iu.edu/.

Стаття над1йшла до редакцп 27.07.2017

i Надоели баннеры? Вы всегда можете отключить рекламу.