CC BY
14
УДК 004.94; 004.4; 004.62 Е.В. ЖАР1КОВ*
1НТЕГРОВАНЕ УПРАВЛ1ННЯ РЕСУРСАМИ ХМАРНОГО ЦЕНТРУ ОБРОБКИ ДАНИХ НА ОСНОВ1 В1РТУАЛЬНИХ МАШИН
Нацiональний технiчний унiверситет Украни «Кшвський полiтехнiчний iнститут iMeHi 1горя Сжорського», м. Ки1в, Украша
Анотаця. Складтсть хмарних центргв обробки даних вимагае передових ршень з управлгння ресурсами для забезпечення безперервного обслуговування i гарантованог продуктивност1. Пропоно-ваний niдхiд до ттегрованого управлтня ресурсами центру обробки даних забезпечуе необхiдну еластичтсть на рiвнi фiзичного сервера з урахуванням споживання енергИ' та з урахуванням по-рушень угоди про рiвень обслуговування (SLA). Пiдхiд до ттегрованого управлтня ресурсами за-снований на динамiчнiй моделi у просторi статв, моделi енергоспоживання, моделi порушень SLA i методi управлтня емтстю центру обробки даних. Аналiз виконано з використанням журналiв статистики використання кластера Google. Результати показують, що пiдхiд до ттегрованого управлтня ресурсами центру обробки даних дозволяе досягти економИ' енергИ' i мiнiмiзувати по-рушення SLA.
Ключовi слова: хмарш обчислення, дата-центр, вiртуалiзацiя, енергоефективтсть.
Аннотация. Сложность облачных центров обработки данных требует передовых решений по управлению ресурсами для обеспечения непрерывного обслуживания и гарантированной производительности. Предлагаемый подход к интегрированному управлению ресурсами центра обработки данных обеспечивает необходимую эластичность на уровне физического сервера с учетом потребления энергии и с учетом нарушений соглашения об уровне обслуживания (SLA). Подход к интегрированному управлению ресурсами основан на динамической модели в пространстве состояний, модели энергопотребления, модели нарушений SLA и методе управления емкостью центра обработки данных. Анализ выполнен с использованием журналов статистики использования кластера Google. Результаты показывают, что подход к интегрированному управлению ресурсами центра обработки данных позволяет достичь экономии энергии и минимизировать нарушения SLA.
Ключевые слова: облачные вычисления, дата-центр, виртуализация, энергоэффективность.
Abstract. The complexity of cloud data centers requires advanced resource management solutions to provide continuous service and to ensure performance guarantees. The proposed Integrated Resource Management approach of cloud data center provides the necessary elasticity on the physical machine level by considering data center power consumption and a service-level agreement violation. The Integrated Resource Management approach is based on the state-space dynamic model, power consumption model, SLA violation model, and capacity control method. The analysis is performed using Google cluster-usage traces. The results show that Integrated Resource Management approach allows achieving energy savings while minimizing SLA violations.
Keywords: cloud computing, data center, virtualization, energy efficiency. 1. Вступ
Провайдери хмарних послуг пропонують користувачев1 широкий спектр сервю1в [1], що базуються на використанш трьох основних моделей надання хмарних послуг: Software-as-aService (SaaS), Infrastructure-as-a-Service (IaaS) and Platform-as-a-Service (PaaS). Яюсть i про-дуктившсть роботи сервiсiв напряму залежать вщ 1Т-шфраструктури (модель IaaS). Основ-ними високорiвневими сервюами е хмарш застосування, застосування електронно! комер-цп, загальш застосування для бiзнесу, застосування для автоматизацп процеав пщприемст-ва, застосування для розробниюв, пакетш завдання з середовищами виконання та застосування для сфери 1нтернету речей. Кожний сервю мае конкретш вимоги до виконання, таю
© Жар1ков Е.В., 2018
ISSN 1028-9763. Математичш машини i системи, 2018, № 2
як висока доступтсть, висока продуктивтсть, еластичшсть змiни необхщно'1 eMHOCTi та ма-сштабування, балансування навантаження, розподiлене функщонування i взаeмодiя з мобь льними Рентами. При цьому кожний хмарний сервю та вiдповiдна IТ-iнфраструктура сприймають рiзнi комбшаци робочих навантажень, яю е нестацiонарними i якi складно про-гнозувати. Хмарнi сервiси також е масштабованими та стiйкими до вщмов iнфраструктури. Таким чином, дуже важливо забезпечити виконання угоди щодо дотримання рiвня сервiсу (service-level agreement, SLA), в тому чист, мшмальну затримку при плануваннi завдань до виконання, що е основною проблемою в сучасних центрах обробки даних у хмарi.
Завдяки застосуванню вiртуалiзацii [2] виникае можливiсть консолiдувати вiртуальнi машини (ВМ) на одному фiзичному серверi (ФС) з метою покращення ефективностi вико-ристання ресурсiв центру обробки даних (ЦОД). Вс робочi навантаження в сучасних хмар-них ЦОД обслуговуються, як правило, за допомогою вiртуальних машин. Безперервнi змши робочого навантаження на сервiс користувача, перерозподш графiкiв виконання вiртуаль-них машин, а також вiдмови ФС вщбуваються непередбачуваним способом. Таким чином, ресурсною емшстю для обслуговування такого навантаження необхщно управляти динамь чно i адаптивно, одночасно забезпечуючи гаранта дотримання рiвня сервiсу та продуктив-ностi без порушення SLA. Провайдери хмарних сервiсiв застосовують рiзнi методи для за-безпечення достатньо'1 кшькосп ФС, одночасно забезпечуючи ефективне використання ре-сурсiв, зменшуючи операцiйнi витрати та енергоспоживання.
При управлшт ресурсами хмарного ЦОД виникають проблеми управлшня eмнiстю ресурсiв: проблема надмiрного видшення ресурсiв (over-provisioning) i проблема недостат-нього видiлення ресурсiв (under-provisioning). Ц проблеми повиннi вирiшуватись за допомогою ефективних методiв консолщаци вiртуальних машин. Щоб досягти видiлення необхщно! eмностi ресурсiв, необхщно'1 для обслуговування запитсв користувачiв протягом горизонту керування, провайдери хмарних сервiсiв повинн застосовувати адаптивнi методи та алгоритми керування консолщащею ВМ. Управлшня консолщащею вiртуальних машин являе собою адаптащю до динамiчних робочих навантажень шляхом використання технологи безперебшно'1 мграцп (live migration) вiртуальних машин. Ця технология дозволяе вiр-туальним машинам перемщатись з недовантажених ФС, щоб мiнiмiзувати кiлькiсть актив-них ФС, необхiдних для обслуговування поточного навантаження користувача. Таким чином, вившьнеш вщ навантаження ФС можуть бути переключен в «режим сну» або в режим мшмального споживання енерги з метою зменшення споживання енерги в ЦОД. У раз^ коли зростае попит на вщповщш ресурси, необхiдну кiлькiсть фiзичних серверiв швидко можна повернути в робочий режим. У цьому пiдходi юнують два основних критерй: мiнiмi-зувати порушення SLA та мiнiмiзувати споживання енерги в центрi обробки даних.
Основною метою статп е розробка тдходу до iнтегрованого управлiння ресурсами (ГУР) ЦОД, що полягае в управлiннi необхiдними ресурсами на базi моделi станiв ЦОД, враховуючи споживання електроенерги та порушення SLA. Пщхщ до вирiшення проблеми динамiчного управлшня видшенням ресурсiв заснований на моделi станiв центру обробки даних з метою мiнiмiзацii споживання енергй фiзичними серверами ЦОД при допустимiй затримщ розгортання вiртуальноi машини. Сформульовано проблему оптимiзацii, яка розг-лядае декшька типiв ресурсiв та гетерогеннi ФС. Результати показують, що використання ГУР тдходу дозволяе досягти енергозбереження при мiнiмiзацii порушень SLA з точки зору затримки розгортання вiртуальноi машини. У статп запропоноваш основна схема тдходу ГУР; метод управлшня емтстю ресурав ЦОД, вхщт та вихщт сигнали контуру управлiн-ня, модель споживання електроенерги з урахуванням м^раци вiртуальних машин та гетеро-генносп ресурсiв ФС, модель порушення SLA з урахуванням штрафiв за перевантаження ФС та штрафiв за затримку розгортання вiртуальноi машини. У процеа моделювання вико-ристанi данi з журналiв використання кластера Google [3].
2. Анал1з публжацш
В умовах сучасних ЦОД основна увага з боку провайдерiв придшяеться зменшенню споживання електроенерги з одночасним дотриманням вимог SLA [4-6]. З щею метою запропо-новано багато пiдходiв i методiв, призначених для використання в рiзних умовах функщо-нування ЦОД з рiзними програмно-апаратними платформами. Важливо зазначити, що при застосуваннi методiв управлiння з використанням прогнозу можна досягти високо'1 ефекти-вностi при управлшш ресурсами хмарного ЦОД [7-9].
У робот [7] автори запропонували використовувати керування з прогнозуванням в динамiчнiй схемi резервування ресурсiв для вiртуалiзованих серверних середовищ. МЫмь защя споживання електроенерги досягаеться шляхом коригування кiлькостi фiзичних та вiртуальних машин з урахуванням частки процесора та навантаження на кожну вiртуальну машину. Метою запропоновано'1 схеми е максимiзацiя кшькосп транзакцiй, якi повиннi ви-конуватися з дотриманням SLA, з точки зору середнього часу вщгуку при врахуванш ви-трат на включення та виключення фiзичних машин. Однак, вони в основному концентру-ються на продуктивностi серверних застосувань, а не на плануванш розмщення ВМ та ре-сурсно'1 спроможност ФС.
Автори в роботi [8] пропонують пiдхiд динамiчного розподiлу ресурав, який базу-еться на моделях штелектуального аналiзу навантаження. Згiдно з запропонованим пщхо-дом, система керування вмикае або вилучае фiзичнi сервери для роботи застосування на ос-новi оптимiзацiï завантаженостi застосування на обмеженому горизонтi прогнозування. Го-ловним чином, запропонований пщхщ орiентований на хмарну модель обслуговування SaaS i не враховуе мiнiмiзацiю енергоспоживання. Крiм того, метод авторегреси рухомого середнього, який використовуеться в робот для прогнозування навантаження, не враховуе се-зонних змiн.
У робот! [10] автори запропонували алгоритм керування на основi ланцюговоï моде-лi Маркова для вирiшення проблеми виявлення перевантаження ФС як частини процесу динамiчноï консолщаци ВМ. Для вщомого стащонарного робочого навантаження та заданоï конф^ураци стану системи полiтика управлшня оптимально виршуе задачу виявлення перевантаження ФС шляхом максимiзацiï середнього часу мiж мiграцiями, одночасно дотри-муючись QoS вимог. Використовуючи пщхщ до оцшки навантаження на основi багатороз-мiрного вiкна зi зсувом, автори адаптували модель для обробки невщомих нестащонарних навантажень. 1снуе також припущення, що робоче навантаження задовольняе властивостi Маркова, що може бути невластивим для вах типiв робочих навантажень. Крiм того, вхiднi даш для моделювання робочого навантаження, використаш в публшаци, мiстять лише на-вантаження на процесор, якого недостатньо для моделювання гетерогенного середовища.
У роботах [5, 6, 9] наведено дослщження щодо методiв та пiдходiв динамiчного ма-сштабування емносп ресурсiв ЦОД. У роботi [6] автори запропонували систему автомати-зованого надання фiзичних серверiв, яка передбачае компромю мiж енергозбереженням, продуктивнiстю та надшшстю, використовуючи прогнозування та оптимiзацiю для запро-понованоï моделi, однак гетерогеншсть ФС i ïx ресурав у цiй роботi не враховаш. У роботi [9] запропонована модель для виршення задачi динамiчного видшення ресурсiв. При цьому мiнiмiзуеться загальне використання електроенерги при виконанш вимог SLA щодо затри-мки планування завдання, але запропонована модель розроблена для гомогенного кластера. Крiм того, модель прогнозування потребуе налагодження до використання у процеа управлшня, яке не забезпечуеться запропонованим пщходом. У робо^ [5] автори запропонували систему управлшня ресурсами для виконання неоднорщних завдань гетерогенними ФС за критерiем енергозбереження. Запропонована схема враховуе гетерогеншсть i динамiчно ре-гулюе кiлькiсть ФС у вiдповiдностi з критерiями енергозбереження та мiнiмальноï' затримки планування виконання, а також з урахуванням витрат на реконф^ращю. Але запропонова-
ний тдхщ використовуе ту ж саму модель прогнозування, що i в [9], не розглядае можли-вють вiдмов ФС i не враховуе штрафних витрат на мграцп вiртуальних машин.
3. Модель ЦОД
ЦОД представлений набором ФС, що характеризуються певною конфшуращею апаратно! та програмно! пщсистем i с]мкхованою емшстю ресурав. Модель ЦОД складаеться з М е N ФС i N е N ВМ. На кожному ФС може бути розмщено декшька ВМ. Ф1зичш сервери по-еднаш мережею ЦОД один з одним та централiзованою системою зберiгання даних (схо-вищем) [11]. У реальних умовах роботи ЦОД кiлькiсть вiртуальних машин постiйно змшю-еться шляхом створення та завершення 1'х роботи (нормального або аваршного).
У гетерогенному середовищi кожен ФС мае типову конфшуращю ресурсiв, що включае процесор, оперативну пам'ять, сховище та пщключення до мережi з метою надання 1'х визначенiй кiлькостi вiртуальних машин при розмщенш. На кожному ФС виконуються менеджер вiртуaльноi машини (МВМ) i спецiальна вiртуальна машина з менеджером фiзи-чного сервера (МФС) для керування вiртуальними машинами засобами МВМ. Використо-вуючи показники мошторингу, МФС отримуе поточне використання ресурав ФС та вико-ристання ресурав кожною розмiщеною на ньому ВМ. Ршення з управлiння ресурсами приймаються менеджером ЦОД, який виконуе консолщащю вiртуальних машин, управлш-ня станом ФС i ВМ, а також визначае розмщення ново'1 створювано'1 ВМ. Продуктившсть кожно'1 вiртуaльноi машини ^ента обмежена конкретними показниками SLA, наприклад, час на обслуговування запиту, час роботи, кшьюсть запипв у секунду та ш
4. 1нтегроване управлшня ресурсами ЦОД
У статтi пропонуються новi стратеги управлiння емнiстю ресурав ЦОД та розподшом вiр-туальних машин (включаючи перерозподiл) з урахуванням обмежень на енергоспоживання та порушення умов SLA. Структура об'екта управлшня представлена на рис. 1. Для управлшня кшьюстю активних ФС, вибору нового мюця розташування вiртуaльноi машини та для керування мтращею вiртуaльноi машини слщ враховувати таю вимоги:
• мiнiмiзувати кiлькiсть порушень SLA, що виникають у зв'язку з перевантаженням як мшмум одного з ресурав ФС;
• мiнiмiзувaти кшьюсть порушень SLA, що виникають у зв'язку з затримкою розго-ртання ново! вiртуaльноi машини;
• мiнiмiзувaти споживання енерги в ЦОД з урахуванням гетерогенного та нестащо-нарного стохастичного середовища IaaS.
Для досягнення таких цiлей запропоновано тдхщ 1УР на основi моделi динамши
ЦОД.
Рис. 1. Структура об'екта управлшня для шдходу штегрованого управлшня ресурсами
У рамках запропонованого тдходу 1УР вирiшуються таю задачi: консолiдацiя BipTy-альних машин, розмщення ново! ВМ та задача планування ресурсно! емностг Запропоно-ваний пiдхiд включае в себе моделi енергоспоживання, порушення умов SLA та управлшня eмнiстю ЦОД, що використовують модель динaмiки ЦОД.
Моделювання споживання електроенерги в ЦОД
В ГГ-шдустри у даний час юнуе потреба скорочення енергоспоживання цен^в обробки даних. Енергоспоживання ЦОД складаеться i3 споживання електроенерги для обслугову-вання навантаження кшенпв та енергоспоживання фiзичноi iнфpaстpyктypи. Таким чином, важливо пщвищити енеpгоефективнiсть ЦОД шляхом розробки та впровадження моделей i aлгоpитмiв систем управлшня та апаратного забезпечення, що безпосередньо обслуговують IT-навантаження. У робот розглядаеться i виpiшyеться задача моделювання енергоспоживання фiзичними серверами у хмарному ЦОД. При цьому зaдaчi yпpaвлiння енергоспожи-ванням мережевого обладнання та пристро!в збеpiгaння даних у запропонованш моделi не розглядаються i являють собою окpемi пiдзaдaчi загально! зaдaчi yпpaвлiння енергоспожи-ванням ЦОД.
Споживання електроенерги фiзичного сервера визначаеться його компонентами, такими як процесор, чшсет, накопичувач дисюв, пам'ять, джерела живлення та системи охо-лодження [12]. На практищ у гетерогенному сеpедовищi неможливо окремо вимipяти i вра-хувати при yпpaвлiннi енергоспоживанням кожного компонента. У [13] автори показали, що споживання електроенерги фiзичним сервером може бути описане лшшною залежшстю мiж електроспоживанням та використанням процесора. 1нша проблема, розглянута в [13], це вузький динaмiчний дiaпaзон потужност сеpвеpiв, коли сервер, який працюе в pежимi очiкyвaння, витрачае близько 70% енерги вiд його максимально! потужностт
Слiд також враховувати, що вapiaцiя iнтенсивностi робочого навантаження на кожну ВМ, розмщену на ФС, не впливае на споживання електроенерги центральним процесором ФС [7]. Електроспоживання ФС змшюеться тшьки при змЫ кшькосп ВМ, що виконуються на ньому. Проте неможливо визначити коефщенти, щоб врахувати внесок кожно! ВМ в електроспоживання ФС, що !х мютить. Таким чином, у статп пропонуеться враховувати використання ресурсу R (t) для кожного ресурсу k i -го ФС, оскшьки R (t) також вносить вклад у загальне споживання електроенерги ф1зичним сервером.
Позначимо змшною efdle е 1R1 споживання електроенерги ф1зичним сервером типу g,
коли вiн працюе в pежимi очiкyвaння. Гетеpогеннiсть ЦОД пропонуеться врахувати piзни-ми моделями споживання електроенерги, беручи до уваги коефщент енергоефективносп ФС типу g, позначений як pgk, для ресурсу типу к. Споживання електроенерги i -го ФС типу g, позначене змшною ef(t) е 1R1, може бути визначене таким чином:
ef(t) = efdle+YJ^P8k- О)
k<BR
Сумарне споживання електроенерги вах працюючих ФС може бути визначене таким чином:
м
ерм( о=2>г(о^(о, (2)
7=1
де z,.(0 е{0,1} - стан i -го ФС.
1нший важливий показник, який слiд враховувати при моделюванш електроспоживання в центрах обробки даних, це «жива» (без зупинки сервюу) м^ащя ВМ. За piзними оцiнкaми i в залежност вiд кiлькостi працюючих ФС, сотш ВМ в ЦОД можуть брати участь у процес консолщаци. Залежно вiд apхiтектypи збеpiгaння даних ^i спiльним сховищем
або без спшьного сховища) трaнспортнi витрати на мтращю будуть рiзними. Якщо ЦОД використовуе aрхiтектуру без спшьного сховища даних, витрати на передачу жорсткого диска ВМ додаються до витрат на транспортування пам'ят^ що належить ВМ. У запропонова-нш моделi використовуеться aрхiтектурa зi спiльним сховищем. Слiд також зазначити, що режим живо'1 мграцп не викликае суттевого зменшення продуктивностi роботи само'1 ВМ у порiвняннi з продуктившстю роботи ВМ у звичайному режимi [14], але викликае наванта-ження на фiзичнi сервери, що беруть участь у процес мграцп ВМ.
Крiм того, е обмеження гiпервiзорa щодо кiлькостi одночасних мтрацш з/на ФС, на завантаження пщсистеми зберiгaння та мережевих aдaптерiв. Ц обмеження також повиннi бути враховаш. Встановлення обмежень кiлькостi одночасних мграцш вiртуaльних машин у реальному ЦОД виконуеться окремо для ФС та для його мережевого пщключення. М^а-щя ВМ е процесом з штенсивним вводом/виводом, i енергiя споживаеться передавальними та приймальними пристроями на самих ФС, що беруть участь в управлшш процесом м^а-цп та мережевим обладнанням ЦОД [15].
Позначимо змшною ej (t) споживання електроенерги при мграцп ВМ типу h . Тодi
загальне електроспоживання при мiгрaцiях ВМ у поточний момент t можна визначити таким чином:
М N
ЕтШ{ 0 = 11>,(0<(0, (3)
¿=1 7=1
де uv(t) е {0,1} - цшочисельиа змшна, яка вказуе на м1гращю j -i ВМ з i -го ФС. К/Пгращя вщбуваеться тсцц, коли мг> (0 = 1.
Споживання електроенерги центром обробки даних у момент t, позначене змшною E(t), може бути визначено таким чином:
E(t) = EPM(t) + EmVM(t). (4)
Моделювання порушень умов SLA
Продуктившсть ФС знижуеться, коли один або бшьше його ресурав використовуються на 100% [16], тому ВМ, що працюють на даному ФС, у цьому випадку не забезпечеш необхщ-ними ресурсами для досягнення узгодженого рiвня продуктивность В реальних умовах обмеження використання деяких ресурсiв може бути жорстюшим, вiд 85% до 95%, щоб не допускати вузьких мюць [17]. Причиною цього е вщсутшсть ресурсного резерву ФС для обслуговування мaйбутнiх потреб у ресурсах, що у рештьрешт призводить до порушення SLA. Серед уах ресурав, що споживаються ВМ, е три найбшьш важливих, якi впливають на продуктившсть ВМ, коли ФС завантажений на 100% деякий час навт по одному з ре-сурав.
По-перше, це використання процесора та довжина черги процесора. Продуктившсть, яку надае процесор, знижуеться, коли використання становить 100%, а довжина черги процесора перевищуе мЫмально допустимий рiвень. 1ншими двома ресурсами е введен-ня/вивщ на пристро'1 збереження даних та на мережевi пщключення. ^ ресурси можуть бути обмежеш для кожно'1 ВМ за допомогою гiпервiзорa, щоб уникнути перевантаження ФС. Але через деякий час щ два ресурси також можуть бути вичерпаш через змши кшькосп вхiдних або вихiдних зaпитiв до пщсистем збереження даних та до мережевих aдaптерiв з боку вiртуaльних машин або системного програмного забезпечення ФС.
Пропонуеться визначити штрафи за порушення SLA, PSLA (t) у виглядi суми штрaфiв за перевантаження ФС, Po (t) та штрaфiв за затримки розгортання ново'1 вiртуaльноi маши-ни, Pd (t) таким чином:
pSLA{t)=plp°{t)+p2pd{t),
(5)
де px > 0 i p2 > О e ваговими коефщ1ентами.
Розглянемо розрахунок штрафiв за перевантаження ФС по одному з ресурав. При-пустимо, що ФС може перебувати в нормальному сташ (ресурси використовуються менше, шж визначено порогом) або в перевантаженому станi. Перевантажений стан ФС настае то-дi, коли показник використання одного з ресурсiв досягае максимального, заздалепдь ви-значеного значення (порогу), близького до наявного обсягу цього ресурсу на ФС, протягом деякого перюду часу. Вважатимемо, що i-й ФС перевантажений, якщо
N ___
3 + = , де i = l,M, J = hN, к&К - використання к -
j=1
го ресурсу j -ю ВМ на i -му ФС, г/ (t) - це показник використання к -го ресурсу самим ФС у момент t, K - це набiр титв ресурав, таких як процесорна емшсть, об'ем пам'ятi, иродуктившсть вводу/виводу диска тощо. Значення штрафу /'"(/) за перевантажений стан ФС визначимо для кожного ресурсу к е К таким чином:
р°(0 = *Гш(0Р, (6)
де Nvmi(t) - кшьюсть ВМ, на яких впливае перевантаження вщповщного ФС. P - узго-джена з користувачем вага одинищ штрафу за порушення SLA на однш ВМ. N^ (t) визна-чаеться таким чином:
м
^(0=2>,ем о, (7)
7=1
якщо ресурс к е К icHye такий, що у/(}) визначаеться як
С*
y/(i) =
<1,
У a(I), шакше
j=i
Розглянемо розрахунок штраф1в за затримку розгортання ново! в1ртуальноТ машини Pd (! ). Припустимо, що Bci ВМ повинш бути розгорнут в ¡нтервал1 Mi ж моментами М t +1 вщповщно до SLA. Ця вимога стосуеться вiртуальних машин, яю створюються для забезпе-чення певно'1 продуктивностi роботи сервiсу або балансування навантаження на сервiс.
Наприклад, якщо SLA визначае, що час розгортання повинен бути не бшыпе, Hi ж ча-совий ¡нтервал г Mi ж М t +1, це означав, що в середньому час, потр1бний для розгортання екземпляра ВМ, складае т . Постачальник хмарних послуг защкавлений у м1шмзацп кшь-костi задiяних (працюючих) ФС при достатнiй наявнiй кшькосп ресурсiв. Таку цiль можна досягнути за рахунок консолщаци ВМ та наявност групи вiльних ФС, щоб бути готовим до прийому нових ВМ у мiру необхiдностi. Кшьюсть ФС, готових для прийняття нових ВМ, може бути оцшена за допомогою модел1 управлшня емшстю.
Кшыасть в1ртуальних машин на наступному крощ t +1 управлшня ресурсами ЦОД визначаеться таким чином:
N^ (t + l) = N^ (0 + NZ (0 - N* (0, (9)
де N'0^ (?) - кiлькiсть ВМ, визначених на розгортання, №0Л ($) - кiлькiсть ВМ, визначених на вимикання. Значення (?) коректуеться кожного разу на наступному крощ управлш-
ня ресурсами ЦОД, щоб врахувати аномальне вимкнення ВМ.
Кiлькiсть ВМ, запланованих до розгортання, визначаеться таким чином:
N
^(0 = 1^(0, (10)
7=1
де ^(я) - це функщя, визначена так, що /¡(я) = 1, якщо 5 = 1, та ^(5) = 0 в шшому випа-дку; е {—1,0,1} - цшочисельна змшна, яка вказуе на змшу стану / -1 ВМ, якщо
в у (?) = -1, тод1 / -та ВМ повинна бути вимкнена, якщо л';; (?) = 1, тод1 / -та ВМ повинна бути розгорнута на / -му ФС, якщо ^-Д?) = 0, тод1 стан / -1 ВМ не змшюеться.
Кiлькiсть ВМ, запланованих для завершения роботи, визначаеться таким чином:
N
л^(0 = 1|г2(Ф,(0|, (п)
7=1
де /2(5) ~~ це функЩя, визначена так, що /2(£) = —1, якщо £ = — 1, та у2(/) = 0 в шшому випадку.
За кожний додатковий час т , витрачений на розгортання ВМ, постачальник хмарних послуг сплачуе штраф Р. Позначимо змшною число ВМ, яю не були розгорнуп на по-передньому крощ вщ I - 1 до /. Таким чином, штраф Р1' (?) за затримку розгортання ВМ за визначений часовий перюд Т = {1,2,..Т} визначаеться таким чином:
т
Р"(Г) = 5>(0Л (12)
Метод управятня емтстю ЦОД
У статп пропонуеться метод обчислення кшькосп ФС для обслуговування прогнозованого навантаження у виглядi ВМ. Запропонований метод прошюстровано на прикладi застосу-
вання тшьки до одного ресурсу к . Позначимо змшною Ок суму вимог до к -го ресурсу, що отримана вщ модуля передбачення потреб у ресурсах. Позначимо вшьну емшсть к -го ресурсу в ЦОД як 1'к. Позначимо змшною Ак дефщит (нестачу) ресурсу, що обчислюеться за формулою Ак -Бк -Рк.
Якщо задовольняеться вимога Ак < 0 \ е достатньо мюця для розмщення максимального запитуваного ресурсу с^ах с| на будь-якому працюючому ФС а < С^ее), то немае
необхщносп вмикати додатковий ФС. Якщо А* > 0, то деяка кшыасть додаткових ФС повинна бути увiмкнена. Щоб врахувати гетерогеншсть фiзичних серверiв, пропонуеться вщ-сортувати !х типи g у порядку зменшення емностi ресурсу к. Передбачаеться, що чим бь льше емшсть ресурсу к у ФС, тим бшьше вш споживае електроенерги. Позначимо змшною С8'к емшсть ресурсу к ф1зичного сервера типу g. Наприклад, С1'к = 1, якщо ф1зичний сервер типу £ = 1 мае емшсть ресурсу к, що дор1внюе 1 (к = 1), С2,к = 0,75, якщо ф1зичний сервер типу % = 1 мае емшсть ресурсу к, що дор1внюе 0,75 (А; = 0,75), 1 т.д. Позначимо змшною МрМ (?) кшыасть ФС типу g, яю повинш бути ув1мкнеш, щоб обслуговувати наван-
таження з боку нових ВМ без затримки. Позначимо змшною М^'О (кшьюсть ФС типу g, якi знаходяться в режимi сну.
Необхiдно врахувати два випадки для виконання обрахункiв. Перший випадок: якщо Д'1 < 1, то тшьки один ФС з емшстю ресурсу к, що е найближчою до Л* (для таких g, коли
Се'к
—— повинен бути ув1мкнений. Другий випадок: якщо А >1, то ктльктсть додаткових
ФС обраховуеться таким чином (13):
м ( 1=1
П /*«
j=1
л
fg(t)=
£
cg-
+1,
CgJ
1накше
Mff(f) 2
>0
(13)
Таким чином, отримана кшыасть с]мзичних сервер!в для ув1мкнення М¡,,г (/) скла-
м^ ил — • •
даеться з —, g — 1,С, ф1зичних сервер1в кожного типу g . Запропонований метод 2
пропонусться використовувати для оцiнки нижньо! границ кiлькостi ФС, якi повиннi зна-ходитися в робочому режимi для розмщення нових ВМ з урахуванням кожного ресурсу к, який враховусться при розмщенш ВМ i е критичним для 11 роботи.
2
к
1
5. Формулювання i вир1шення оптим1зац1йно1 задач!
Ршення з управлiння ресурсами включають в себе ршення щодо консолщаци вiртуальних машин, рiшення про мiграцiю вiртуальних машин, рiшення про управлiння станом ФС, а також ршення про розмщення ново' ВМ. Цi ршення можуть прийматися одночасно в ге-терогенних середовищах IaaS. Для моделювання динамiки системи час подiлено на штерва-ли рiвноi тривалостi, поточний момент позначений як t. Рiшення з управлiння вщбувають-ся на початку кожного штервалу.
На початку кожного штервалу управлшня / ктльктсть ФС, якт будуть потр1бш на на-ступний момент t +1 , визначаеться з використанням модел1 динамши ЦОД та модел1 управлшня емшстю. Мета планування емностi - запланувати своечасне включення ФС. 1н-формацiя про стан ЦОД у момент t спостерiгаеться за допомогою МФС та МВМ, у тому
чист значення Мрм (t) , NVM (t) i Nf (t) . Використовуючи методи управлiння емнiстю
центр1в обробки даних, можна визначити кшыасть ФС, необхщних на момент t +1, i визна-чити вщповщш керуючi впливи.
Загальна мета ГУР ЦОД полягае в тому, щоб управляти кiлькiстю ФС з урахуванням обмежень i згiдно з критерiем енергозбереження та дотримання SLA. У запропонованш мо-делi управлшня кшьюстю ФС виконуеться за допомогою контрольно'!' змшно'1 S^. (t) (змш-
на вказуе на змшу стану i -го ФС) шляхом визначення змшних розташування вiртуальноi машини x (t) i ^) та шляхом визначення змшно'1 мграцп и^ (t) таким чином, щоб мшмь
зувати загальну суму штрафiв з точки зору мграцп ВМ та затримки планування виконання ВМ (11) при мiнiмiзацii споживання електроенерги (10). Щоб мiнiмiзувати споживання еле-ктроенерги та порушення SLA, слщ звести до мiнiмуму таку функщю на кожному кроцi t:
J = a\PSIA(t)^ + fi\E(tf,
(14)
де a i p - це ваги, визначеш користувачем, яю позначають вщносну важливють PSLI (!) i
E(t) вiдповiдно.
Задача ГУР ЦОД (14) е задачею нелiнiйного цiлочисельного програмування. Ïï опти-мальне рiшення можна знайти за допомогою класичних методiв оптимiзащï. Але, якщо взя-ти до уваги велику кшькють змiнних та обмежень, класичш методи оптимiзащï будуть ви-магати значно'1 кiлькостi обчислень для оптимiзащï, що в режимi онлайн складно досягнути.
Для того, щоб застосувати ГУР ЦОД у режимi реального часу для великомасштабних цен^в обробки даних, пропонуеться вирiшувати задачу оптимiзащï (14) приблизно, за ра-хунок використання оптимiзацiï Монте-Карло [18]. 1дея застосування наближених методiв полягае в тому, щоб випадково обирати велику кшьюсть зразюв контрольних входiв i обчи-слювати функцiю вартост для кожного з них. Отримана функщя вартостi з найнижчим зна-ченням е субоптимальним керуванням ресурсами ЦОД на момент t. Необхiдно тiльки пщ-брати вщповщну кiлькiсть зразкiв для налагодження компромсу мiж часом розрахунку та точшстю наближення.
Для оцiнки ефективностi тдходу 1УР ЦОД та запропонованих евристик розроблена модель динамки ЦОД. Проведено моделювання рiзних сценарив на вхщних даних з жур-налiв статистики використання кластера Google [3]. Журнали статистики використання кластера Google складаються з декшькох наборiв даних про завдання, виконаш приблизно на 12 000 фiзичних серверах. Журнали мютять записи про конфiгурацiю фiзичних серверiв, поди планування завдань, потреби в ресурсах для завдань та записи про використання ресу-рав 25,462,157 завданнями протягом 29 дшв. Для кожного завдання вказана максимальна потреба в кожному з двох ресурав (ЦП та ОЗУ). Значення попиту та використання для кожного типу ресурсу нормалiзованi вщ 0 до 1 вщносно найбшьшо'1 ресурсоемносп ФС.
Ефективнють використання електроенерги оцiнюеться шляхом порiвняння енерго-споживання активних ФС пiд час моделювання згщно з запропонованими моделями з результатами, отриманими за допомогою алгоритму Power Aware Best Fit Decrease (PABFD) [19]. У PABFD вс вiртуальнi машини сортуються в порядку зменшення 1'х поточно'1 утиль заци процесора. Розподiл кожно'1 вiртуальноï машини на фiзичнi сервери у PABFD викону-еться з урахуванням найменшого збiльшення споживання електроенерги, викликаного роз-подiлом. Запропонований у статп пiдхiд дозволяе розподiляти ВМ на ФС в середньому на 17% ефектившше, шж PABFD. Моделювання споживання електроенерги фiзичними серверами здшснювалося згiдно з (4), параметри моделi для кожного типу фiзичного сервера оцшювалися згiдно з даними з [20].
У [5] зазначаеться, що у трейс Google бшьше 50% завдань у груш з прюритетом «продуктив» (production priority) запланованi негайно (за рахунок методiв самого Google). Але деяю задачi у прюритетнш групi "продуктив" затримуються протягом декшькох годин i навт днiв. У результат аналiзу встановлено, що одшею з можливих причин тако'1 ситуаци е вiдсутнiсть належних ресурсiв з точки зору вщповщно! конфшураци ФС. Щоб зменшити до мiнiмуму таку розбiжнiсть мiж запитаними та доступними ресурсами, запропоновано використовувати метод управлшня емшстю. Цей метод дозволяе зарезервувати ФС кожного типу тсля наступного рiшення щодо планування та розгортання нових вiртуальних машин. Шсля застосування запропоновано'1 моделi управлшня емшстю в сценарiях моделювання затримка планування зменшуеться до 37% у деяких сценарiях (вибiрках з трейсу). Таким чином, цей метод орiентований на планування виконання неоднорщних завдань у гетерогенних середовищах.
6. Висновки
У робот запропонований тдхщ штегрованого управлiння ресурсами ЦОД, який забезпечуе необхiдну кiлькiсть фiзичних серверiв для обробки навантаження 3i зменшенням електрос-поживання та зменшенням кшькосп порушень угоди про рiвень обслуговування ктенпв. Пiдхiд 1УР ЦОД базусться на моделi динамiки хмарного ЦОД, яка враховуе гетерогеннiсть ФС та ВМ, змшу ïx станiв i конф^рацш, можливiсть управлiння розмiщенням нових ВМ та ïx мтращею.
Запропонована модель споживання електроенерги дозволяе мiнiмiзувати споживання енерги фiзичними серверами, одночасно тдтримуючи прийнятну затримку розгортання новоï ВМ. Модель облiку порушень SLA враховуе штрафи за перевантаження ФС i штрафи за затримку розгортання ново'1' ВМ. Запропонований метод планування емносп ЦОД дозволяе визначити кшьюсть ФС, необxiдниx для забезпечення обслуговування прогнозованого навантаження у виглядi вiртуальниx машин з певними вимогами до ресурав.
Аналiз та моделювання, яю використовують трейси роботи кластера Google [3], по-казують, що за допомогою пiдxоду ГУР ЦОД постачальники хмарних сервiсiв можуть зме-ншити споживання електроенерги при мiнiмiзацiï порушень SLA з точки зору кшькосп пе-ревантажених ФС та затримки розгортання ново'1' ВМ.
СПИСОК ДЖЕРЕЛ
1. RightScale 2018 State of the Cloud Report [Електронний ресурс]. - Режим доступу: https://www.rightscale.com/lp/state-of-the-cloud.
2. Xen and the art of visualization / P. Barham, B. Dragovic, K. Fraser [et al.] // Proc. of the 19th ACM Symposium on Operating Systems Principles, SOSP2003. - Bolton Landing, NY, 2003. - P. 164 - 177.
3. Reiss C. Google cluster-usage traces: format+schema / C. Reiss, J. Wilkes, J.L. Hellerstein // Google Inc., Mountain View, CA, USA, Technical Report, 2011. - P. 1 - 14.
4. Energy-Aware Server Provisioning and Load Dispatching for Connection-Intensive Internet Services / G. Chen, W. He, J. Liu [et al.] // NSDI. - 2008. - Vol. 8. - P. 337 - 350.
5. Dynamic heterogeneity-aware resource provisioning in the cloud / Q. Zhang, M. F. Zhani, R. Boutaba [et al.] // IEEE transactions on cloud computing. - 2014. - Vol. 2, N 1. - P. 14 - 28.
6. Guenter B. Managing cost, performance, and reliability tradeoffs for energy-aware server provisioning / B. Guenter, N. Jain, C. Williams // Proc. of IEEE INFOCOM. - Shanghai, China, 2011. - P. 1332 - 1340.
7. Power and performance management of virtualized computing environments via lookahead control /
D. Kusic, J.O. Kephart, J.E. Hanson [et al.] // Proc. of the International Conference on Autonomic Computing (ICAC). - Chicago, 2008. - P. 3 - 12.
8. Roy N. Efficient autoscaling in the cloud using predictive models for workload forecasting / N. Roy, A. Dubey, A. Gokhale // Proc. of IEEE International Conference on Cloud Computing (CLOUD) -Washington, 2011. - P. 500 - 507.
9. Dynamic energy-aware capacity provisioning for cloud computing environments / Q. Zhang, M.F. Zhani, S. Zhang [et al.] // Proc. of the 9th IEEE/ACM International Conference on Autonomic Computing. - New York, 2012. - P. 145 - 154.
10. Beloglazov A. Managing overloaded hosts for dynamic consolidation of virtual machines in cloud data centers under quality of service constraints / A. Beloglazov, R. Buyya // IEEE Transactions on Parallel and Distributed Systems. - 2013. - Vol. 24, N 7. - P. 1366 - 1379.
11. Telenyk S. Architecture and Conceptual Bases of Cloud IT Infrastructure Management / S. Telenyk,
E. Zharikov, O. Rolik // Advances in Intelligent Systems and Computing, Springer. - 2017. - Vol. 512. -P. 41 - 62.
12. Minas L. Energy Efficiency for Information Technology: How to Reduce Power Consumption in Servers and Data Centers / L. Minas, B. Ellison // Intel Press. - Santa Clara, 2009. - 330 р.
13. Fan X. Power provisioning for a warehouse-sized computer / X. Fan, W.D. Weber, L.A. Barroso // Proc. of the 34th Annual International Symposium on Computer Architecture (ISCA 2007), ACM. - New York, NY, USA, 2007. - P. 13 - 23.
14. Xiao Z. Dynamic resource allocation using virtual machines for cloud computing environment / Z. Xiao, W. Song, Q. Chen // IEEE Transactions on parallel and distributed systems. - 2013. - Vol. 24, N 6. - P. 1107 - 1117.
15. Performance and energy modeling for live migration of virtual machines / H. Liu, H. Jin, C.-Z. Xu // Cluster computing. - 2013. - Vol. 16, N 2. - P. 249 - 264.
16. Zheng Q. Utilization-Based Pricing for Power Management and Profit Optimization in Data Centers / Q. Zheng, B. Veeravalli // J. Parallel and Distributed Computing. - 2011. - Vol. 72, N 1. - P. 27 - 34.
17. Detecting bottlenecks in a virtualized environment [EneKTpoHHHH pecypc]. - Pe^HM gocTyny: https://docs.microsoft.com/en-us/windows-server/administration/performance-tuning/role/hyper-v-server/ detecting-virtualized-environment-bottlenecks.
18. Hammersley J. Monte Carlo methods / Hammersley J. - Springer Science & Business Media, 2013. -178 p.
19. Beloglazov A. Energy-aware resource allocation heuristics for efficient management of data centers for cloud computing / A. Beloglazov, J. Abawajy, R. Buyya // Future Generation Computer Systems. -2012. - Vol. 28, N 5. - P. 755 - 768.
20. ENERGY STAR Certified Enterprise Servers [EneKTpoHHHH pecypc]. - Pe^HM gocTyny: https://data.energystar.gov/Active-Specifications/ENERGY-STAR-Certified-Enterprise-Servers/46gm-kmbv/data.
Cmammn nadiümna do peda^iï 28.03.2018
