CC BY
17
Восточно-Европейский журнал передовым технологий ISSN 1729-3774
I .;;...;,••;••,!•■•;:::•;•...•; •:::•; п .¡г
Для забезпечення вимог Kopucmyea4ie з npodyKmueHocmi та ефективностi вико-нання завдань грiд - система повинна реа-лiзувати ефективний алгоритм po3nodi-лу завдань мiж доступними на даний час обчислювальними ресурсами. Основна мета такого балансування навантаження в грид-системi - скоротити час виконання завдан-ня користувача i забезпечить ефективтсть використання обчислювальних ресурЫв для виключення ситуаци, коли одт ресурси про-стоюють, а iншi перевантажеш виконанням завдань користувачiв
Ключовiслова: грiд, NordugridARC, балансування навантаження, брокер, веб-сервw □-□
Для обеспечения требований пользователей по продуктивности и эффективности выполнения заданий грид-система должна реализовывать эффективный алгоритм распределения заданий среди доступных на данный момент вычислительных ресурсов. Основная цель такого балансирования в грид-системе - сократить время выполнения задания пользователя и обеспечить эффективность использования для исключения ситуации, в которой одни ресурсы простаивают, а другие перегружены заданиями пользователей
Ключевые слова: грид, Nordugrid arc, балансировка нагрузки, брокер, веб-сервис
УДК 004.75
Г1БРИДНИИ АЛГОРИТМ БРОКЕРА ДЛЯ NORDUGRIDARC 2.0 ДЛЯ ВИКОРИСТАННЯ В СЕГМЕНТ! УНГ
А. I. Петренко
Доктор техычних наук, професор, завщувач кафедри* Контактний тел.: (044) 287-87-71 Email: petrenko@cad.kiev.ua С.Я. Свистунов Кандидат техшчних наук, старший науковий ствроб^ник 1нститут теоретично? фiзики iM. Боголюбова НАН УкраТни вул. Метролопчна, 14-б, м. КиТв, УкраТна, 03680 Контактний тел.: (0044) 521-31-19 E-mail: svistunov@bitp.kiev.ua П . В. С в i р i н Асистент*
*Кафедра системного проектування Нацюнальний техшчний ушверситет УкраТни "КиТвський пол^ехычний шститут" пр. Победы, 37, м. КиТв, УкраТна, 03056 Контактний тел.: 063-578-00-01 Email: paul.svirin@gmail.com
1. Вступ
2. Теоретична частина
Брокер ресурав це програмний модуль, що виз-начае найбшьш вщповщний ресурс, на якому буде можливо запустити певну задачу. В системi NordugridARC [1] даний програмний модуль знаходиться на клiентському бощ i аналiзуе даш, отримаш з шфор-мацшноТ системи.
На даний момент модуль балансування в ARC використовуе виключно даш щодо кластерiв, отримаш з шформацшноТ системи ARC, даш якоТ дуже залежш вщ перюдичноси Тх оновлення. Ще одним недолжом такого пiдходу е неповнота опису стану ресурсу, а саме неможливо реально ощнити поточну завантажешсть ресурсу. В ARC 2.0 введено мож-лившть розробки сервтв, що запускаються на цiй платформа
Таким чином, можливе отримання додаткових вщомостей щодо обчислювальноТ системи кластеру (наприклад, стану окремих вузлiв всередиш самого кластеру) для бiльш ефективноТ полiтики балансу-вання.
Таким чином, необхщно розробити методику побу-дови брокерiв, якi зможуть оцiнювати стан середови-ща i проводити вiдбiр ресурив за бiльш комплексно.
Особливостями украТнського сегменту ГР1Д [3, 4, 5] е невелика юльюсть процесорiв на кластерах i невеликi об'еми пам'яп на вузлах, а також не дуже швидю канали зв'язку мiж кластерами. Таким чином, для максимально ращонального використання на-явних ресурав необхiдно враховувати максимальну кiлькiсть факторiв.
Наразi в украТнськоТ грiд iнфраструктурi вико-ристовуеться алгоритм випадкового вибору, який е статичним, тобто не враховуе поточного стану об-числювального ресурсу. Отже, потрiбнi алгоритми з бiльшими можливостями. Вщзначимо, що статичнi алгоритми звичайно е б^ьш простими, оскiльки вони використовують середньостатистичну iнформацiю про ресурс, жноруючи його поточний стан. Такi алгоритми частше застосовуються для балансування перюдичних завдань з жорсткими вимогами щодо часу завершення, але в грщ-середовишд такi завдання е мен-шiстю [8]. Чисто динамiчнi алгоритми, що включеш в комплект ARC 2.0, бшьш адекватно аналiзують стан грщ-середовища, але, як було вказано вище, не вра-ховують продуктившсть обчислювальних ресурсiв. Отже, доцiльно використовувати гетерогенний тдхщ
© А
до розподшу задач, який буде враховувати не пльки статичну шформащю про ресурс, а i його поточний стан.
Загальна послщовшсть крокiв для пбридного алгоритму, що використовуе сервiси Nordugrid ARC 2.0:
1) опит шформацшно'! системи для пошуку зарее-строваних обчислювальних ресурсiв;
2) ф^ьтращя отриманого списку ресурсiв за ста-тичними характеристиками;
3) опит сервгав, що надають розширену шформа-цiю про ресурси;
4) ранжування ресурсiв i3 застосуванням отрима-но1 iнформацii.
В якост варiанта реалiзацii алгоритму для середо-вища Nordugrid можна навести наступну послщовшсть крокiв:
1) брокер опитуе iнформацiйноi системи ISIS, в якш рееструються обчислювальнi ресурси;
2) проводиться ф^ьтращя отриманого списку ре-сурсiв за статичними характеристиками;
3) шформацшна система ISIS опитуеться для пошуку сервгав, що надають поточну шформащю про довжини в«х черг на системi виконання завдань (LRMS - localresourcemanagementsystem) на кожному з ресурав;
4) опитуються знайденi сервши для отримання iнформацii щодо довжин черг на ресурсах, якщо таю сервки наявнi;
5) розраховуються загальш довжина черги для кожного ресурсу:
N + j
j=1
де Ni - загальна довжина черги на i-му ресурсi, n - кшь-кiсть черг, що iснують на LRMS i-го ресурса, Li - довжина j-i черги на даному ресурсу Lja - довжина черги j-го ресурса на рiвнi Nordugrid ARC, тобто кiлькiсть задач, що лише очжують на подачу на рiвень LRMS.
6) для кожного ресурсу генеруеться коефвдент, що розраховуеться наступним чином:
1
M = rand(0,-^),
де S=Ni, якщо можливо отримати повну шформащю про черги на ресурс з додаткового сервиса, або S=Ni+1, якщо такого сервиса на ресурсi немае.
7) ранжування ресуршв за спаданням отриманого коефвденту M.
https://arex3.bitp.kiev.ua:60003/arex (resource, <empty InterfaceName>)
VERBOSE: GeneratingA-REX target: https://arex2.bitp.kiev.ua:60001/arex
DEBUG: Setting status (SUCCESSFUL) for endpoint: https://arex2.bitp.kiev.ua:60001/arex (resource, wsrfg-lue2)
VERBOSE: Generated EMIES target: https://arex1.bitp. kiev.ua:60000/arex
DEBUG: Setting status (SUCCESSFUL) for endpoint: https://arex1.bitp.kiev.ua:60000/arex (resource, emies)
DEBUG: Setting status (SUCCESSFUL) for endpoint: https://arex1.bitp.kiev.ua:60000/arex (resource, <empty InterfaceName>)
DEBUG: Querying queues service INFO: Response: <soap-env:Envelope
xmlns:echo="http://www.nordugrid.org/schemas/echo" xmlns:soap-enc="http://schemas.xmlsoap.org/soap/en-coding/"
xmlns:soap-env="http://schemas.xmlsoap.org/soap/en-velope/"
xmlns:xsd="http://www.w3.org/2001/XMLSchema" xmlns:xsi="http://www.w3.org/2001/XMLSchema-ins-tance">
<soap-env:Body>
<echo:echoResponse>
<echo:lrmstype>pbs</echo:lrmstype>
<echo:qlen>0</echo:qlen>
</echo:echoResponse>
</soap-env:Body>
</soap-env:Envelope>
DEBUG: Mark generated for https://arex1.bitp.kiev.ua: 60000/arex: 0.8292
DEBUG: Mark generated for https://arex2.bitp.kiev.ua: 60001/arex: 0.4202
DEBUG: Mark generated for https://arex3.bitp.kiev.ua: 60003/arex: 0.44
Job submitted with jobid:
https://arex1.bitp.kiev.ua:60000/arex/dGzMDmzPjWgn PE481mEO9xUnABFKDmABFKDm9UHKDmCBFKDmW TrwOn
3. Приклад реаизаци алгоритму
Описаний вище алгоритм реалiзовано в тестовому середовишд на 6a3i 1нституту теоретично! фiзики iM. Боголюбова. Результат роботи алгоритму:
VERBOSE: GeneratedEMIEStarget: https://arex3.bitp.kiev.ua:60003/arex
DEBUG: Setting status (SUCCESSFUL) for endpoint: https://arex3.bitp.kiev.ua:60003/arex (resource, emies)
DEBUG: Setting status (SUCCESSFUL) for endpoint:
Для порiвння можна навести фрагмент виводу стандартного алгоритму, який обирае ресурси випад-ковим чином:
VERBOSE: Generated EMIES target: https://arex3.bitp.kiev.ua:60003/arex
DEBUG: Setting status (SUCCESSFUL) for endpoint: https://arex3.bitp.kiev.ua:60003/arex (resource, emies)
DEBUG: Setting status (SUCCESSFUL) for endpoint: https://arex3.bitp.kiev.ua:60003/arex (resource, <empty InterfaceName>)
VERBOSE: GeneratingA-REXtarget: https://arex2.bitp.kiev.ua:60001/arex
DEBUG: Setting status (SUCCESSFUL) for endpoint: https://arex2.bitp.kiev.ua:60001/arex (resource, wsrfglue2)
VERBOSE: Generated EMIES target: https://arex1.bitp. kiev.ua:60000/arex
DEBUG: Setting status (SUCCESSFUL) for endpoint: https://arex1.bitp.kiev.ua:60000/arex (resource, emies)
DEBUG: Setting status (SUCCESSFUL) for endpoint: https://arex1.bitp.kiev.ua:60000/arex (resource, <empty InterfaceName>)
Job submitted with jobid:
https://arex2.bitp.kiev.ua:60001/arex/v90FWlZcScLLJ-MyxPVRzo4SHXjrt3 7 W80VVHSBn0rSNwAJPngsEr8Bv
Таким чином, було обрано ресурс arex2.bitp.kiev.ua, який не е оптимальним щльовим ресурсом для вико-нання завдання.
Слщ ввдмиити, що для повноти шформацп можли-во також можливо додатково опитувати системи мош-торшгу типу Nagios чи Ganglia або проводити коротк тести для вщкидання тих ресурав, що надають про
себе коректну шформащю, але реальний стан ресурсу 1й не ввдповщае. Також при обмеженш юлькосп титв задач можливо створити реестр задач, в якому будуть збер^атись середнш час виконання завдання на пев-ному апаратному тит ресурив i за допомоги таких вщомостей знаходити ресурс з мжмальним часом очжування i виконання завдання.
4. Висновки
Задача ефективного розподшу ресурав пов'язана не лише з вибором мехашзму розпод^у, але, можливо, б^ьше визначаеться iнформацiею, доступною для брокера, i 11 актуальнiстю. В той же час, тдтримка онов-лення iнформацii про стан ресурив може бути досить дорогою i вартiсть 11 зростае разом iз розмiром системи. Платформа NordugridARC 2.0 надае широкi можливо-сп для розробки спецiальних сервiсiв, як можуть ви-користовуватись в тому чи^ для прийняття брокером ршення щодо вибору ресурсу для виконання завдання. Таю сервки можуть надавати розширену iнформацiю щодо ресурсу, що покращуе управлiння шформацшни-ми потоками i робить процес розподiлу ресурав бiльш ефективним. Це положення використаш авторами для суттевого полiпшення брокерських можливостей нового поколшня промiжного забезпечення NorduGrid.
Лiтература
1. NordugridARC. [Електронний ресурс]. - Режим доступу: http://www.nordugrid.org.
2. Abhishek Singh. Grid Resource Broker. [Електронний ресурс]. - Режим доступу: http://www.cse.buffalo.edu/faculty/miller/Co-urses/Grid-Seminar/GridResourceBroker.pdf.
3. GStat 2.0 - LDAPBrowser. [Електронний ресурс]. - Режим доступу: http://gstat.egi.eu/gstat/ldap.
4. GridMonitor. [Електронний ресурс]. - Режим доступу: http://gridmon.bitp.kiev.ua.
5. Загородний, А. Украинский академический грид [Текст] / А. Загородний, Г. Зиновьев, Е. Мартынов, С. Свистунов // Укра-¡нсько-македонський науковий зб1рник, Вип. 4 - Кшв: Вид-во Нацюнальна бiблiотека Укра!ни iменi В.1.Вернадського, 2009.
- С.140-150.
6. Петренко, А.1. Нацюнальна Grid - iнфраструктура для забезпечення наукових дослщжень i осв™. [Електронний ресурс].
- Режим доступу: http://netallted.cad.kiev.ua/downloads/Grid.pdf.
7. Пономаренко, В. С. Методы и модели планирования ресурсов в GRID-системах [Текст] / С. В. Листровой, С. В. Минухин, С. В. Знахур. - Харгав: ИНЖЭК, 2008 - 408 с.
8. Akbari Torkestani, J. A new approach to the job scheduling problem in cimoutational grids. / Akbari Toskani, J. // Cluster Computing. - 2012. - №15(3). - P. 201-210.
Abstract
With the development of science one can observe an increase in the volume of experimental data to be analyzed to obtain new knowledge. The current volume of such computations often exceeds the capacity of a single cluster to compute in a satisfactory amount of time. Therefore, there is a necessity in a distributed computation of such amounts of data using the GRID-systems. For the load balancing in such systems one uses special mechanisms - brokers, which implement a certain policy, under which such system distributes tasks among computing resources according to utilization of computational resources in the system or according to the properties of the task.
To implement the algorithm of balancing a broker should take into account enough number of factors to find the most appropriate task that can perform it with the lowest possible load or in minimum amount of time. One can use regular information sources of software that maintain the GRID-system, as well as additional ones that are not included in the standard package of this software.
The article is dedicated to the problems of a broker construction using heterogeneous information sources.
The proposed method is implemented on the basis of the Ukrainian segment GRID using the software package NordugridARC 2.0. Also, this technique can be implemented on other similar software packages for the GRID
Keywords: grid, NordugridARC, load balancing, broker, web service
