Min_с: стратегия неоднородной концентрации задач для энергосберегающих компьютерных расписаний

Армента-Кано Ф.; Черных А.; Кортес-Мендоза Х.М.; Яхьяпур Р.; Дроздов А.Ю.; Буври П.; Клязович Д.; Аветисян А.; Несмачнов С.

Труды ИСП РАН, том 27, вып. 6, 2015 г..

Min_c: стратегия неоднородной концентрации задач для энергосберегающих компьютерных расписаний 1

'ф. Армента-Кано <armentac@cicese.edu.mx>

!А. Черных <chernykh@cicese.mx>

1Х.М. Кортес-Мендоза <jcortes@cicese.edu.тх>

2Р. Яхьяпур <ramin.yahyapour@gwdg.de>

3А.Ю. Дроздов <alexander.y.drozdov@gmail.com>

4П. Буври <Pascal.Bouvry@uni.lu>

4Д. Клязович <Dzmitry.Kliazovich@uni.lu>

5А. Аветисян <arut@ispras.ru>

6С. Несмачнов <sergion@fing.edu.иу>

Исследовательский центр CICESE, Энсенада, Мексика 2GWDG — Геттенгенский университет, Геттенген, Герсания 3МФТИ, Москва, Россия 4Люксемургский университет, Люксембург 5ИСП РАН, Москва, Россия 6Республиканский университет, Мотневидео, Уругвай

Аннотация. В этой статье мы описываем энергосберегающие онлайн-расписания вычислительных задач и механизмы повышения энергоэффективности с учитом конфликтов использования ресурсов. Мы предлагаем модель оптимизации и новый подход к распределению задач, принимая во внимание типы приложений. Разнородные задачи, решаемые на процессорах, включают в себя приложения, интенсивно использующие процессоры, диски, устройства ввода-вывода, память, сети и т.д. Когда задачам одного типа назначается один и тот же ресурс, они могут создать конфликты при использовании CPU, памяти, диска или сети. Это может привести к деградации производительности системы и увеличению потребления энергии. Мы рассматриваем энергетические характеристики приложений и показываем, что умные стратегии распределения задач могут дополнительно улучшить энергопотребление по сравнению с традиционными подходами. Мы предлагаем алгоритмы консолидации разнородных задач и показываем их эффективность на реальных данных в различных сценариях, используя CloudSim для моделирования облачных вычислений. Мы анализируем

1 Работы выполнены при финансовой поддержке Минобрнауки России (Соглашение № 02.G25.31.0061 12/02/2013).

355

Trudy ISP RAN [The Proceedings of ISP RAS], vol. 27, issue 6, 2015.

несколько алгоритмов планирования в зависимости от типа и объема информации, который они используют.

Ключевые слова: энергосберегающие алгоритмы, типы приложений, конфликты использования ресурсов, компьютерные расписания

1. Введение

Облачные вычисления - это глобально распределенная интернет-среда, предоставляющая разнообразные сервисы для использования вычислительных ресурсов и широко распространенная в государственных и частных организациях.

Поставщики облачных вычислений предлагают свои ресурсы и услуги с гарантией качества обслуживания (QoS). Одной из существенных эксплуатационных затрат провайдеров являются энергетические расходы. Неэффективное управление ресурсами оказывает прямое негативное воздействие на производительность и стоимость. В распределенных средах часто бывает трудно оптимизировать потребление энергии физическими ресурсами и виртуальными машинами (VM) с различными типами задач (интенсивно использующими процессоры, диски, устройства ввода/вывода, память, сеть и т.д.). Необходимо детальное энергетическое управление ресурсами на всех уровнях выполнения задач для оптимизации их использования и увеличения прибыльности [1].

В этой статье мы предлагаем модель оптимизации, в которой принимаются во внимание различные типы приложений, и алгоритм неоднородной консолидации задач для энергосберегающего планирования. Мы оцениваем эффективность наших алгоритмов на реальных данных в различных сценариях и сравниваем их с известными алгоритмами.

Статья имеет следующую структуру: в разделе 2 приводится обзор литературы и рассматриваются алгоритмы по оптимизации энергопотребления; в разделе 3 описываются постановка задачи и цели исследования; предлагаемые алгоритмы рассматриваются в разделе 4; в разделе 5 приводятся детали экспериментов; раздел 6 описывает методологию, используемую для анализа результатов; экспериментальные результаты приводятся в разделе 7; и, наконец, в разделе 8 описываются основные выводы и направления будущей работы.

2. Обзор литературы

Энергия, необходимая для работы компьютера, блока питания и систем охлаждения вносит существенный вклад в общий объем операционных затрат. Снижение потребления энергии стало одной из основных целей в промышленности, и задачей в научных исследованиях.

В этом разделе мы кратко обсудим известные энергосберегающие алгоритмы назначения ресурсов для выполнения задач, описанные в литературе.

356

Труды ИСП РАН, том 27, вып. 6, 2015 г..

EMVM - Energy-aware resource allocation heuristics for efficient management [2]. Авторы представили алгоритм назначения ресурсов с использованием динамической консолидации виртуальных машин и описали принципы эффективного использования энергии в среде облачных вычислений. В работе показано, что консолидация ведет к значительному сокращению потребления энергии по сравнению с использованием статического распределения ресурсов. Использована следующая модель энергопотребления:

P(u) = к * Ртах + (1 — к) * Ртах * и,

где Ртах - это максимальная потребляемая мощность, когда сервер используется полностью; к - доля мощности, потребляемой сервером в режиме ожидания (т е. 70%); и это загрузка процессора. Общее потребление энергии Е определяется следующим образом:

Е = f VcuCt^dt

■'to

Когда несколько VM используют не все ресурсы, они могут быть объединены на минимальном количестве физических ресурсов. Тогда неработающие узлы могут переключаться в спящий режим, чтобы уменьшить общее потребление энергии.

Рис. 1 описывает энергопотребление в соответствии с описанной моделью, в зависимости от нагрузки процессора.

CU ои/о -------------------------------------------------------

" <*■ & # # & <& ^

Загрузка процессора

Рис. 1. Процент энергопотребления в зависимости от загрузки процессора (%).

HSFL - Hybrid Shuffled Frog Leaping алгоритм [3]. Эта схема управления ресурсами не только гарантирует качество обслуживания пользователей (QoS), указанное в соглашении об уровне обслуживания (SLA), но также обеспечивает экономию энергии. Авторы используют технологию миграции VM для консолидации ресурсов. Слабо используемые и неиспользуемые ресурсы переводятся в режим экономии энергии, обеспечивая при этом гарантии качества обслуживания. Авторы считают, что потребление энергии сервером осуществляется почти в линейной зависимости от использования процессора. Кроме того, потребление энергии в ждущем режиме составляет 70% от потребления энергии при полной нагрузке, учитывая энергию,

357

Trudy ISP RAN [The Proceedings of ISP RAS], vol. 27, issue 6, 2015.

потребляемую при миграции VM. Потребление энергии в заданный момент времени h определяется следующим образом:

E(h) = 0.7Emax(h) + 0.3 U tlz (h) Emax (h) + 0. lEmax Y T(i).

<iev

Emax(h) - это потребление энергии в режиме полной нагрузки. Utlz(h) — это средний коэффициент использования процессора за единицу времени, v - это множество мигрирующих виртуальных машин, и T(i) - это время миграции VMi. Потребление энергии в зависимости от процента использования процессора такое же, как показано на рис. 1.

АЕТС - Algorithm of Energy-aware Task Consolidation [4]. Авторы предлагают алгоритм консолидации задач для минимизации потребления электроэнергии. Алгоритм работает в центре обработки данных для миграции виртуальных машин, которые назначены на процессоры, находящихся в одной стойке, или на стойках, пропускная способность каналов связи между которыми относительно постоянна. Алгоритм ограничивает использование процессора не выше заданного максимального порога в 70% за счет консолидации задач на виртуальных кластерах. Кроме того, в расходах на электроэнергию учитывается время задержки в сети, необходимое для перемещения задачи в другой виртуальный кластер. Энергопотребление виртуальных машин в состоянии простоя и при передаче их по сети рассматривается как константы. Рис.2 показывает энергопотребление в зависимости от нагрузки процессора,

Загрзка процессора

Рис. 2. Энергопотребление в зависимости от загрузки процессора (%).

Эта модель предполагает потребление энергии E(Vj) = aW/s в режиме ожидания. Когда загрузка процессора увеличивается, требуется дополнительная энергия р

358

Труды ИСП РАН, том 27, вып. 6, 2015 г..

E(yi)

' aW/s,

Р + а W/s, Зр + а W/s,

• Зр + aW/s, 8р + сс W/s, 11 р + a W/s, „ Y2P + O.W/S,

if is idle

if 0% < CPU util < 20% if 20% < CPU util < 50% if 50% < CPU util < 70% if 70% < CPU util < 80% if 80% < CPU util < 90% if 90% < CPU util < 100%

Общее потребление энергии виртуальной машиной Vj в течение периода времени t0~tm вычисляется по следующей формуле:

Ш

E0,m(Vi) = ^Et(Vi).

t=0

Для заданного виртуального кластера VCk, состоящего из и виртуальных машин, потребление энергии в течение периода времени t0~tm рассчитывается следующим образом:

П

Е0,т(ГСк) = ^Е0>т(У). i=0

CTES - Cooperative Two-Tier Energy-Aware Scheduling [5]. Авторы рассматривают кооперативный двухуровневый подход к планированию задач с регулированием скорости их выполнения, с целью достижения оптимального использования процессора, вместо миграции задач на другие узлы. Используются несколько стратегий планирования с прогнозом выполнения задач для оптимального назначения их на доступные виртуальные машины. Результаты моделирования показывают, что этот подход уменьшает общее потребление энергии в облаке. Загрузка процессора определена как:

ui(t) = где ahi(t) выделенная скорость (MIPS) процессора host; в

момент времени t; mh; - максимальная вычислительная мощность host;. Авторы полагают, что неиспользуемая машина будет выключена немедленно. Таким образом, суммарная мощность процессора определяется как:

Р =

pstatic _|_ pdynamic

о

и > О о. w

pstatic _ эт0 мощность, потребляемая в течение времени простоя вычислительного узла. Она определяется как pstatlc = aPrnax. где pmax -потребляемая мощность при работе с максимальной загрузкой. Загрузка а -это постоянное соотношение между статической мощностью и максимальной мощностью (0 < а < 1), которое зависит от физических свойств процессора. Динамическое энергопотребление определяется как:

pdynamic _ ^|,ma\ _ pstatic ^ uT(t)

359

Trudy ISP RAN [The Proceedings of ISP RAS], vol. 27, issue 6, 2015.

Если система использует мощность P(u), энергопотребление будет Е = j-tmm/u p(u)dt; где tmin - это время, в течение которого процессор работает на максимальной вычислительной мощности. Доля потребления энергии в результате использования процессора похожа на показаную на рис. 1. Таким образом выполнение инструкций достигается за счет энергопотребления:

ртах*

Е = [а + (1 - a)uv]-----—

и

DVMA - A Decentralized Virtual Machine Migration Approach [6]. Авторы предлагают децентрализованную миграцию виртуальных машин. Они описывают модель системы и ее энергопотребления, включающие вектора загрузки, сбор информации о загрузке, выбор VM для миграции и пункт назначения миграции. Результаты оценки производительности показывают, что такой подход может обеспечить улучшение балансировки нагрузки и меньшее энергопотребление в сравнении с другими стратегиями.

Пусть а будет доля мощности, потребляемая в момент простоя по сравнению с полной загрузкой; 9 - доля мощности, потребляемая в момент текущего использования процессора. Энергопотребление вычисляется следующим образом:

Pi = а* Р;тах + (1 - а) * Pimax * 0,

где p;max - потребляемая мощность, когда процессор используется полностью (то есть, достигает 100% загрузки). Энергопотребление, в зависимости от использования процессора, похоже на энергопотребление, представленное на рис. 1.

EDRP - Energy and Deadline aware Resource Provisioning [7]. Авторы сосредоточились на проблеме минимизации затрат на облачные системы, повышая эффективность использования энергии, но гарантируя сроки выполнения пользовательских задач, определенных в соглашениях по качеству обслуживания (SLA). Они принимают во внимание два типа задач, независимые пакетные задачи и задачи с зависимостями.

Их модель расчета потребления электроэнергии в момент времени t включает статическое Psxtatic(t) и динамическое Pdxynamic (t) энергопотребление. Обе характеристики рассчитываются на основе процента загрузки процессора Utilx(t), в котором учитываются только параметры используемой виртуальной машины Qx(t).

Авторы не делают различия между виртуальными машинами, на которых работают задачи, и виртуальными машинами, находящимися в ищущем режиме, поскольку фоновая деятельность процессора необходима даже в режиме простоя.

RftaticOO - это константа больше нуля при Utilx(t) > 0 и 0 в противном случае. Отношение между Р|уПагшс 0D и Utilx(t) является гораздо более сложным. Серверы имеют оптимальный уровень загрузки с точки зрения 360

Труды ИСП РАН, том 27, вып. 6, 2015 г..

производительности на ватт, который определяется как Optx. Общепризнано, что для современных серверов Optx « 0.7 и увеличение энергопотребления за пределами этой операционной точки более значительно, чем при Utilx(t) < Opt*-

Несмотря на идентичные условия использования, энергоэффективность различных серверов может отличаться. Эго отражается в коэффициентах ах и (Зх. представляющих увеличение энергопотребления Dx при Utilx(t) < Optx и Utilx(t) > Optx соответственно. P|ynamic (t) рассчитьшается как:

Utilx(t) * otx if (Utilx(t) < Optx)

Optx * «x + (Utilx(t) - Optx)2 * Px if (Utilx(t) > Optx)

Предположим, что Lmax. - это максимальная длина расписания всех приложений. Общее потребление энергии COSP - это сумма энергопотребления всех серверов по всему интервалу времени:

М /Lmax

C0SP = X Z (P*tatic(t) + Pdynamic №»

X—1 у t=l

Полученный процент потребляемой мощности показан на рис. 3.

Загрузка процессора

Рис. 3. Нелинейное энергопотребление в зависимости от загрузки процессора (%).

BFDP - Best Fit Decreasing Power [8]. Авторы предлагают методику расчета энергопотребления на основе полиномиальной регрессии Lasso, и алгоритма планирования ресурсов BFDP. Они направлены на повышение энергоэффективности без ухудшения качества обслуживания с учетом четырех типов задач, CPU-интенсивных, интенсивно работающих с памятью, сетью и системами ввода-вывода. Авторы вводят механизм порогов загрузки в BFDP, чтобы решить проблему чрезмерной консолидации. Результаты показали, что этот алгоритм создает меньше нарушений SLA. Нелинейная модель энергии записывается как функция:

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.

361

Trudy ISP RAN [The Proceedings of ISP RAS], vol. 27, issue 6, 2015.

m

У; = До+ (*;) + £;-

7=1

где является ядром выражения yt: представляет загрузку процессора

и памяти; /?г - это константа определяемая на основе модели обучения; eL - это константа. Рис. 4 показывает энергопотребление в зависимости от использования процессора и памяти.

PAHD - Power-aware Applications Hybrid Deployment [9]. Авторы рассматривают ресурсоемкие приложения и приложения, интенсивно использующие ввод/вывод для оптимизации ресурсов в виртуальных средах.

Рис. 4. Общее энергопотребление в зависимости от использования процессора и

памяти [8]

Они используют кроссплатформенный гипервизор Хеп для мониторинга виртуальных машин. Авторы оценивают эффективность энергосбережения в диапазоне 2%-12% для различных алгоритмов распределения ресурсов, Они приходят к выводу, что если для ресурсоемких приложений выделяется в два раза больше ресурсов, по сравнению с приложениями интенсивно использующих ввод/вывод, то достигается улучшение энергоэффективности. Таблица 1 суммирует основные характеристики приведенных алгоритмов и критерии, используемые для оценки их производительности.

362

Труды ИСП РАН, том 27, вып. 6, 2015 г..

Таблица 1. Основные характеристики рассматриваемых алгоритмов.

Применение Характе ристики Критерии Лит

Центры данных Облака Гибридные облака Централизованный Децентрализованный Динамическая загрузкая Статическая загрузка Стат. время выполнения Дин. время выполнения Качество обслуживания Миграция Статическая Динамическая ЦПУ интенсивные В/В интенсивные Загрузка Энергия Срок выполнения

EMVM • • • • ♦ ♦ • ♦ ф ф ф [1]

HSFL • • • ♦ ♦ • ♦ ф ф [2]

АЕТС • • • • ♦ ♦ ♦ ф ф [31

CTES • • • • ♦ • ♦ ф ф ф [41

DVMA • • ♦ ♦ Ф ф ф [51

EDRP • • • • ♦ ♦ ♦ # ф ф Ф [61

BFDP • • • ♦ ♦ • # ф ф ф m

PAHD • ♦ # ф ф ф [8]

3. Общая формулировка проблемы оптимизации

Мы рассматриваем m однородных серверов, описываемых множеством {s, mem, band, eff }, где s - это скорость исполнения инструкций (MIPS), mem -объем памяти (МБ), band - доступная полоса пропускания (Мбит/с), и eff -эффективность использования энергии (MIPS на ватт). Мы исходим из того, что компьютеры имеют достаточно ресурсов для выполнения задач. Основная цель предлагаемых стратегий заключается в минимизации общего энергопотребления Е.

3.1 Модель задачи

Мы рассматриваем п независимых задач J1(]2, ...,Jn, гДе каждая задача ]t описывается множеством Jj = (г^ pj, type j). rj > 0 это время запуска задачи, pj - время решения задачи. Время запуска задачи rj неизвестно до момента ее запуска, typej характеризует тип задачи.

3.2 Модель энергопотребления

Мы используем нелинейную гибридную модель потребления энергии, предложенную в [25]. Мы считаем, что выполнение задач различных типов на одном и том же процессоре по-разному влияет на энергопотребление в связи с использованием различных аппаратных средств.

Наша модель учитывает энергопотребление индивидуальных задач и их комбинаций. Из-за разнообразия задач и их комбинаций, мы предлагаем использовать суммарную загрузку процессора задачами каждого типа (общей

363

Trudy ISP RAN [The Proceedings of ISP RAS], vol. 27, issue 6, 2015.

загрузкой, которая обеспечивается каждым типом задач). В этой статье мы рассматриваем 2 типа задач (тип А и тип Б).

Рис. 5 описывает нормализованное энергопотребление при решении этих задач в зависимости от загрузки процессора. Назначение двух задач разного типа на одном процессоре может вызвать сниженное энергопотребление, меньшее, чем сумма энергопотребления при решении каждой задачи по отдельности. Назначение же нескольких задач одного типа на один процессор может негативно влиять на производительность, создавая узкие места в процессоре, диске или сети, что может привести к дополнительной деградации производительности системы и увеличению энергопотребления. Энергопотребление процессора в момент времени t состоит из двух частей -энергопотребление в режиме ожидания, когда процессор включен, но не используется eidle^roc, и энергопотребление, когда процессор используется

ргос

^usedj (О*

erC(t) = о,(0 * (eldlJr + eusedfroc(t) * U,(t)0

где 0|(t) = 1, если процессор включен, и о, (t) = 0, в противном случае. Uj(t) загрузка процессора в момент времени t. г - коэффициент, предложенный в

[15], чтобы учесть нелинейные свойства энергопотребления.

euSedfrOC(t) = (0,„„*ГС - еШеГС) * О) )

ргос г-

где етах. - это максимальная потребляемая мощность, когда процессор полностью загружен. p(aA(t)) - это коэффициент, который показывает приращение энергопотребления, когда процессор работает с различными типами приложений. Концентрация задач типа А в момент времени t определяется как aA(t).

& ^ ^ ^ ^ ^

Загрузка процессора

Рис. 5. Нормализованное энергопотребление задач типа АиВ в зависимости от

загрузки процессора (%).

364

Труды ИСП РАН, том 27, вып. 6, 2015 г..

оА

Рис. 6. Нормализованное энергопотребление в зависимости от пропорции задач типа А.

Рис. 6 показывает долю энергопотребления, когда процессор обрабатывает задачи типа А и Б.

Общая мощность, потребляемая системой подсчитывается как интеграл энергопотребления за время решения всех задач.

Е°Р = with£°P(t) = efroc(t)

Мы используем еШергос = 0.2 * етахргос и устанавливаем Р{ссА) = 1 для аА = 1 (все задачи это задачи типа А) и Р(аА) = 0.9 для аА = 0 (все задачи это задачи типа В).

Рис. 7 показывает нормализованное энергопотребление в зависимости от загрузки процессора и доли (%) задач типа А, когда процессор обрабатывает задачи двух типов.

Рис. 7. Нормализованное энергопотребление задач типа АиВ в зависимости от загрузки процессора (%) и пропорции задач типа А (%).

365

Trudy ISP RAN [The Proceedings of ISP RAS], vol. 27, issue 6, 2015.

Мы видим, что когда загрузка процессора маленькая, энергопотребление низкое (голубая зона). В этом случае любая комбинация задач незначительно влияет на общее энергопотребление, и нижняя голубая зона имеет плоскую поверхность. Левая и правая зоны поверхности отражают преобладание задач типа А и задач типа Б, соответственно. В обоих случаях мы видим, что когда загрузка увеличивается до самого высокого уровня, энергопотребление также увеличивается до самого высокого уровня (красная зона). С другой стороны, если загрузка процессора сбалансирована между двумя типами задач, даже если загрузка увеличивается до самого высокого уровня (80-100%), энергопотребление остается в зеленой зоне и не достигает самых больших значений.

4. Алгоритмы планирования

В этом разделе мы описываем наш подход к планированию задач и энергосберегающие алгоритмы.

Мы используем базовый двухуровневый подход к планированию [12, 13, 14, 15]. На верхнем уровне система имеет общую информацию о задачах и доступных ресурсах, и назначает задачи на машины используя определенный критерий. Локальное распределение ресурсов для выполнения задач происходит на нижнем уровне.

Таблица 2. Стратегии назначения ресурсов.

Тип Стратегия Описание

Rand Назначает задачу j на подходящую машину случайно используя равномерное распределение в диапазоне [1.. т].

СЮ FFit (First Fit) Назначает задачу j на первую машину, которая может

о с выполнить ее.

b RR (Round Robin) Назначает задачу j на машину, которая может выполнить ее используя стратегию Round Robin

Min_L (Min load) Назначает задачу j на машину с минимальной загрузкой в момент времени Г): Ш1Пг=1мт{п,},

сю S- Min_Te (Min-Total_energy) Назначает задачу j на машину с минимальным общим энергопотреблением на момент времени гу. efr°c(0)

с и 1 Min_e (Min-energy) Назначает задачу j на машину с минимальным энергопотреблением в момент времени rp. mini=1 т (efroc (?}))

с Min_u (Min-utilization) Назначает задачу j на машину с минимальным уровнем загрузки (utilization) в момент времени ?) mini=ljn(u*>roc')

N aware Max_u (Max-utilization) Назначает задачу j на машину с максимальной загрузкой (utilization) в момент времени ?) maxi=1 m(ufroc)

£ Min_ujt (Min-utiljob_type) Назначает задачу j на машину с минимальной загрузкой (utilization) задачами того же типа в момент времени 7)

Min c (Min-concentration) Назначает задачу j на машину с минимальной концентрацией задач того же типа в момент времени 7)

366

Труды ИСП РАН, том 27, вып. 6, 2015 г.

Процесс принятия решений о назначении задач на ресурсы основан на разных критериях. В этой статье мы изучаем 10 стратегий: Rand, FFit (First Fit), RR (Round Robin), Min_L (Min load), Min Te (Min Total energy), Min e (Min energy), Min u (Min utilization), Max u (Max utilization), Min ujt (Min utilization of job type), and Mine (Min-concentration). (Таб. 2)

Мы разделяем их на три группы в зависимости от типа и количества информации, используемой для принятия решения: (1) knowledge-free, без использования информации о задачах и ресурсах [16, 17, 18]; (2) energy-aware, с информацией об энергопотреблении; (3) uilization-aware, с информацией о загрузке процессора.

5. Параметры экспериментов

В этом разделе мы описываем параметры экспериментов, включая совокупность задач, сценарии и методологию, используемую для анализа. Все эксперименты выполнены с использованием CloudSim: системы

моделирования облачных вычислений, инфраструктуры и сервисов. Это стандартная программа, используемая для изучения распределения задач в облачных вычислениях. Мы расширили CloudSim для того, что включить наши алгоритмы, используя Java (JDK 7u51).

5.1 Загрузка задач

Анализ производительности алгоритмов планирования требует тщательного проведения экспериментов. Важным элементом является использование реальных задач. Производительность наших алгоритмов оценена на реальных задачах, взятых из архива задач высокопроизводительных вычислительных систем Parallel Workloads Archive [21], и вычислительных гридов Grid Workload Archive [22].

Загрузка системы (workloads) сформирована из 9 систем (traces): DAS2-University of Amsterdam, DAS2-Delft University of Technology, DAS2-Utrecht University, DAS2-Leiden University, KHT, DAS2-Vrije University Amsterdam, HPC2N, CTC, and LANL. Детальная информация о характеристике этих систем и задачах описана в [21, 22].

Характеристики задач, такие как, их распределение по дням, неделям, часовым поясам, может повлиять на правильную оценку эффективности алгоритмов. Таким образом, нам необходимо использовать нормализацию времени путем сдвига времени запуска задач на определенный интервал, чтобы обеспечить более реальные условия. Мы проводим нормализацию задач по часовым поясам и фильтрацию задач с ошибками. Мы помещаем все задачи в тот же самый часовой пояс, так что загрузка всех машин начинается в тот же самый день недели и время суток. Отметим, что выравнивание связано с местным временем, следовательно, поддерживается разница, соответствующая исходному часовому поясу. Применены несколько

367

Trudy ISP RAN [The Proceedings of ISP RAS], vol. 27, issue 6, 2015.

фильтров, чтобы удалить задачи с некорректной информацией, например, с отрицательным временем запуска, временем выполнения, количеством требуемых процессоров, пользовательским индексом и т.д. Мы также добавляем два поля в файлы загрузки для определения типа задач и загрузки процессоров.

Мы рассматриваем динамическую проблему планирования, в которой решения принимаются без полной информации о проблеме и задачах. Задачи прибывают одна за другой, время обработки задач неизвестно до тех пор, пока задача не закончится.

Рис. 8 показывает распределение задач по неделям. Он изображает общее количество задач, количество задач типа А и типа В. Мы видим, что отсутствует преобладание одного типа задач в регистрах загрузки. В некоторые недели обрабатывается больше задач типа А, в другие - типа Б. Чтобы получить правильные статистические данные, мы используем 30 недель.

Рис. Al, А2 и АЗ в Приложении показывают гистограмму общего числа задач в час, среднее число задач в день, и в час, соответственно. Рис. А4 и А5 в Приложении демонстрируют распределение каждого вида задач в неделю и в час для более детального анализа.

■Total Jobs ■Join A bJoL'E

Недели

Рис. 8. Общее число задач, число задач типа А и типа В по неделям.

5.2 Сценарии

Следуя статье [11], которая описывает энергопотребление процессора Fujitsu PRIMERGY ТХ300 S7, мы используем етахг’гос = 300, eidiefroe = 0.2 * етахY°C и устанавливаем нелинейное свойство энергопотребления г = 1.5.

368

Труды ИСП РАН, том 27, вып. 6, 2015 г..

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.

6. Методология анализа

6.1 Деградация производительности

Чтобы обеспечить правильный выбор наилучшей стратегии, мы проводим анализ энергопотребления на основе методологии средней деградации, предложенной Tsafrir [24], и примененной для планирования задач в [12, 17, 20].

Прежде всего, мы оцениваем деградацию в производительности (относительную ошибку) каждой стратегии для каждой метрики. Эта деградация оценивается относительно наилучшего результата полученного всеми стратегиями для каждой метрики:

(у - 1) * 100 with у =

strategy metric value best found metric value

Затем мы усредняем эти значения и ранжируем стратегии. Наилучшая стратегия самой низкой средней деградации имеет ранг 1. Отметим, что мы пытаемся найти стратегию, которая работает эффективно в разных сценариях, таким образом, мы пытаемся найти компромисс, который учитывает все условия. Например, ранг стратегии может быть разным в разных сценариях, поэтому мы подсчитываем среднюю деградацию, чтобы оценить производительность стратегий и показать есть ли стратегии, которые доминируют над другими. Этот подход анализирует результаты на основе средних значений, однако, небольшая часть данных с большим разбросом может повлиять на средние значения. Для того, чтобы лучше интерпретировать данные, мы используем профили производительности наших стратегий.

6.2 Профиль производительности

Профиль производительности р(г) это неубывающая, кусочно-постоянная функция, которая представляет вероятность того, что отношение у находится в факторе т от лучшего значения [23]. Функция р(г) это накапливающая функция распределения. Стратегии с большой вероятностью р(т) при малых т будут предпочтительнее.

7. Экспериментальный анализ

В этом разделе мы приводим результаты экспериментального анализа предлагаемых стратегий. Во-первых, мы оцениваем их на основе методологии деградации производительности, описанной в разделе 6.1, и ранжируем их. Затем, мы проводим более детальный анализ, основанный на профилях производительностей стратегий.

369

Trudy ISP RAN [The Proceedings of ISP RAS], vol. 27, issue 6, 2015.

7.1 Деградация энергопотребления

Рис. 9 показывает среднюю деградацию энергопотребления эвристик за неделю. Небольшой процент деградации показывает, что стратегия получает результаты, которые близки к наилучшем результатам, полученными всеми стратегиями. Таким образом, маленькая деградация демонстрирует лучшие результаты.

Мы наблюдаем, что деградации сильно различаются в зависимости от недели и стратегии. Однако, Мах_и показывает худшее поведение среди всех, a Min e и Minujt - лучшее. Последние две стратегии доминируют во всех тестах.

-----РЧ Ш -----FFrt ------ РР ------Min_L -----Min_u

-----|.h _ц ---Min_ujt----Min_c ----Min_* -----Min_7t

20 И

E ism.

?■ 15 05.

O'

p.UGfc = 1205.

L.

5-1005.

| SOf-S' sou

| 4«.

q 205.

005.'

Недели

Рис. 9. Деградация энергопотребления по неделям.

Рис. 10 показывает среднюю деградацию энергопотребления по всем тестам. Стратегии Мах и, Min Te и FFit показывают наихудшие значения деградации и ранжируются 10, 9, 8, соответственно. Min e и Min ujt являются наилучшими стратегиями с наименьшей деградацией и имеют ранги 1 и 2, соответственно.

370

Труды ИСП РАН, том 27, вып. 6, 2015 г..

16.0%

14,0% Л

те 12.0% й *

те £ су 10,0% * * *

ГС ■о ■11 8.0% * *

? F о 6.0%

с о 4.0%

57 2,0%

X (TI 0.0% ♦ ♦

V Л. & + '

Стратегии

Рис. 10. Средняя деградация энергопотребления.

7.2. Профиль производительности

Как упоминалось в разделе 6, использование средних значений, может привести к неправильным выводам, так как небольшая часть результатов с большими отклонениями может существенно изменить среднее значение. Для того, чтобы проанализировать результаты более детально, мы учитываем профили производительности наших стратегий.

Рис. 11 показывает профили энергопотребления наших 10 стратегий в интервале т=[0,...,0.2]. Мы видим больший разброс в деградации энергопотребления на значительном количестве тестов.

Min e имеет наивысший ранг и самую высокую вероятность быть наилучшей стратегией. Если мы хотим получить результатах не хуже чем 1% (в факторе т=0,01) от лучших найденных, вероятность того, что эта стратегия наилучшая для данной проблемы близка к 1. Min ujt имеет второй ранг, вероятность того, что это лучшая стратегия с фактором 0.01 равна 0,96.

371

Trudy ISP RAN [The Proceedings of ISP RAS], vol. 27, issue 6, 2015.

fon| ------FFrt ------------------------Hin_L --------Min_u

l-b _u --------Min_ujt

c — Min_t ---------MinJTt

Puc. 11. Профиль деградации энергопотребления 10 стратегий.

8. Заключение

В этой статье мы предлагаем новый подход к распределению ресурсов с учетом характеристик задач. Основная идея нашего подхода основана на том факте, что различные задачи требуют различных ресурсов. Они могут быть; вычислительно-интенсивные (computing bound), интенсивно использующие процессор; интенсивно использующих ввод/вывод (I/O bound), требующие высокой пропускной способности; memory bound, disk bound, и тд.

Когда задачи одного типа назначаются на один и тот же ресурс, они могут создать узкие места и конфликты по использованию ресурсов в процессоре, в памяти, на диске или в сети. Эго может привести к деградации производительности и увеличению энергопотребления.

Современные планировщики не используют информацию о типах задач. Мы предлагаем использовать эту информацию контролируемым способом, для того, чтобы использовать ресурсы более эффективно и снизить энергопотребление.

Мы спроектировали и проанализировали новые алгоритмы планирования сосредоточившись на стратегиях назначения задач на вычислительные, которые принимают во внимание как информацию о динамическом состоянии ресурсов так и о типе задач.

Основные результаты можно сформулировать следующим образом.

(a) Мы сформулировали проблему распределения задач с различными характеристиками для оптимизации энергопотребления;

(b) Мы предложили и провели всестороннее исследование производительности 10 стратегий используя систему моделирования

372

Труды ИСП РАН, том 27, вып. б, 2015 г..

облачных вычислений CloudSim на реальных данных в различных сценариях.

(c) Для того, чтобы обеспечить выбор наилучшей стратегии, мы применили анализ на основе методологии оценки деградации производительности каждой стратегии и использовали их профили производительности.

(d) Мы обнаружили, что информация о загрузке процессора без информации о типе задач не помогает существенно улучшить его энергопотребление.

(e) Основываясь на этих результатах, мы показали, что, учитывая тип задач, мы можем оптимизировать их распределение, тем самым снизить энергопотребление и увеличить производительность, избегая создания узких мест и конфликтов по ресурсам.

(f) Результаты детального моделирования, представленные в статье, показывают, что с точки зрения минимизации энергопотребления, стратегия, которая балансирует концентрацию задач различных типов Min e превосходит другие алгоритмы. Эта стратегия приводит к результатам, которые доминирую почти во всех тестах. Мы пришли к выводу, что стратегия стабильна в различных условиях. Она обеспечивает незначительную деградацию производительности при различных сценариях.

Тем не менее, необходимо дальнейшее изучение предлагаемого подхода для оценки потребления энергии. Учет нескольких типов задач и их концентраций на реальных вычислительных ресурсах обязателен для оценки фактической эффективности стратегий и предложенного метода.

Важно тщательное профилирование и изучение характеристик задач разных типов. Кроме того, необходимо анализировать типы приложений и разработать методологию разделения их на категории. Это будет предметом будущей работы для лучшего понимания типов задач и их влияния на энергопотребление.

373

Число задан Число задан Число задан

Trudy ISP RAN [The Proceedings of ISP RAS], vol. 27, issue 6, 2015.

Приложение

Поп -----------Tue -----------L.ied ----------Thu -----------Fri ---------Sat ----------Sun

lOOOO

sooo 6000 4000 2000 0

GOO 200 4-00 600 SOO 10001200110016 00150020002200

Часы

Рис. Al. Общее число задач в час в разные дни недели.

Ф Mean

7000

6000

5000

4000

3000

2000

1000

о

8 8 8 8 8 8 8 8 88 8 8 8 8 8 8 8 8 8 88 8

О —I 14 |V| Ц-| ю Г- Ф> Ol О —I ■Ч М ■* LTi IO Г-. Ф> Ol О —•

Часы

Рис. А2. Среднее число задач в день в течении часа.

Ф Mean

7000 6000 5000 4000 3000 2000 1000 о

Г 1о п Тие

I * I

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.

jed Thu Fri

Дни недели

i i

Sat Sun

Рис. АЗ. Среднее число задач в день в течении недели

374

2200

Труды ИСП РАН, том 27, вып. 6, 2015 г..

■Total Jobs ■Job А ■ J!:■ Е:

120000

100000 Л S0000 | 50000

^ 40000

:г

20000

О

Поп

Tut

usd Thu Fri

Дни недели

Sun

Рис. А4.0бщее число задач типа А и В в день.

Total Jobs --------Job к --------Job В

35000

° 883888888838888808888888

с - Г. ■»*»<»'■ » 3 5 ц 5 3 s 5 5 а £| я

Часы дня

Рис. .15. Общее число задач типа А и В в час.

Литература

[1] . D. Kliazovich, J. Е. Pecero, A. Tchemykh, Р. Bouvry, S. U. Khan, A. Y. Zomaya, СА-

DAG: Modeling Communication-Aware Applications for Scheduling in Cloud Computing, Journal of Grid Computing, 2015.

[2] . A. Beloglazov, J. Abawajy, and R. Buyya, Energy-aware resource allocation heuristics

for efficient management of data centers for Cloud computing, Future Gener. Comput. Syst., vol. 28, no. 5, pp. 755-768, May 2012.

[3] . J. Luo, X. Li, and M. Chen, Hybrid shuffled frog leaping algorithm for energy-efficient

dynamic consolidation of virtual machines in cloud data centers, Expert Syst. Appl., vol. 41, no. 13, pp. 5804-5816, Oct. 2014.

[4] . C.-H. Hsu, K. D. Slagter, S.-C. Chen, and Y.-C. Chung, Optimizing Energy

Consumption with Task Consolidation in Clouds, Inf. Sci., vol. 258, pp. 452-462, Feb. 2014.

[5] . S. Hosseinimotlagh, F. Khunjush, and S. Hosseinimotlagh, A Cooperative Two-Tier

Energy-Aware Scheduling for Real-Time Tasks in Computing Clouds, in Proceedings of

375

Trudy ISP RAN [The Proceedings of ISP RAS], vol. 27, issue 6, 2015.

the 2014 22Nd Euromicro International Conference on Parallel, Distributed, and Network-Based Processing, Washington, DC, USA, 2014, pp. 178-182.

[6] . X. Wang, X. Liu, L. Fan, and X. Jia, A Decentralized Virtual Machine Migration

Approach of Data Centers for Cloud Computing, Math. Probl. Eng., vol. 2013, p. e878542, Aug. 2013.

[7] . Y. Gao, Y. Wang, S. K. Gupta, and M. Pedram, An Energy and Deadline Aware

Resource Provisioning, Scheduling and Optimization Framework for Cloud Systems,” in Proceedings of the Ninth IEEE/ACM/IFIP International Conference on Hardware/Software Codesign and System Synthesis, Piscataway, NJ, USA, 2013, pp. 31:1-31:10.

[8] . L. Luo, W. Wu, W. T. Tsai, D. Di, and F. Zhang, Simulation of power consumption of

cloud data centers, Simul. Model. Pract. Theory, vol. 39, pp. 152-171, Dec. 2013.

[9] . Z. Liu, R. Ma, F. Zhou, Y. Yang, Z. Qi, and H. Guan, “Power-aware I/O-Intensive and

CPU-Intensive applications hybrid deployment within virtualization environments,” in 2010 IEEE International Conference on Progress in Informatics and Computing (PIC), 2010, vol. l,pp. 509-513.

[10] . A. Lezama, A. Tchemykh, R. Yahyapour, Performance Evaluation of Infrastructure as a

Service Clouds with SLA Constraints. Computation у Sistemas 17(3): 401—411 (2013).

[11] . S. B. Matthias Splieth, “Analyzing the Elfect of Load Distribution Algorithms on

Energy Consumption of Servers in Cloud Data Centers,” 2015.

[12] . A. Tchemykh, L. Lozano, U. Schwiegelshohn, P. Bouvry, J. Pecero, S. Nesmachnow:

Energy-Aware Online Scheduling: Ensuring Quality of Service for IaaS Clouds. International Conference on High Performance Computing & Simulation (HPCS 2014), pp 911-918, Bologna, Italy (2014).

[13] . A. Tchemykh, U. Schwiegelsohn, R. Yahyapour, N. Kuzjurin: Online Hierarchical Job

Scheduling on Grids with Admissible Allocation, Journal of Scheduling 13(5):545—552

(2010)

[14] . A. Tchemykh, J. Ramirez, A. Avetisyan, N. Kuzjurin, D. Grushin, S. Zhuk,: Two Level

Job-Scheduling Strategies for a Computational Grid. In R. Wyrzykowski et al. (eds.) Parallel Processing and Applied Mathematics, 6th International Conference on Parallel Processing and Applied Mathematics. Poznan, Poland, 2005, LNCS 3911, pp. 774-781, Springer-Verlag (2006).

[15] . B. Dorronsoro, S. Nesmachnow, J. Taheri, A. Zomaya, E-G. Talbi, P. Bouvry: A

hierarchical approach for energy-efficient scheduling of large workloads in multicore distributed systems. Sustainable Computing: Informatics and Systems 4:252-261 (2014).

[16] . A. Tchemykh, J. Pecero, A. Barrondo, E. Schaeffer: Adaptive Energy Efficient

Scheduling in Peer-to-Peer Desktop Grids, Future Generation Computer Systems, 36:209-220 (2014).

[17] . J.M. Ramirez, A. Tchemykh, R. Yahyapour, U. Schwiegelshohn, A. Quezada, J.

Gonzalez, A. Hirales: Job Allocation Strategies with User Run Time Estimates for Online Scheduling in Hierarchical Grids. Journal of Grid Computing 9:95-116 (2011).

[18] . S. Iturriaga, S. Nesmachnow, B. Dorronsoro, P. Bouvry: Energy efficient scheduling in

heterogeneous systems with a parallel multiobjective local search. Computing and Informatics 32(2):273-294 (2013)

[19] . U. Schwiegelshohn, A. Tchemykh: Online Scheduling for Cloud Computing and

Different Service Levels, 26th Int. Parallel and Distributed Processing Symposium Los Alamitos, CA, pp. 1067-1074 (2012).

376

Труды ИСП РАН, том 27, вып. 6, 2015 г..

[20] . A. Tchemykh, L. Lozano, U. Schwiegelshohn, P. Bouvry, J. Pecero, S. Nesmachnow, A.

Drozdov: Online Bi-Objective Scheduling for IaaS Clouds with Ensuring Quality of Service. Journal of Grid Computing, Springer-Verlag, DOI 10.1007/sl0723-015-9340-0 (2015).

[21] . Parallel Workload Archive [Online, November 2014]. Available at

http://www.cs.huji.ac.il/labs/parallel/ workload

[22] . Grid Workloads Archive [Online, November 2014]. Available at http://gwa.ewi.tudelft.nl

[23] . E. Zitzler: Evolutionary algorithms for multiobjective optimization: Methods and

applications, PhD thesis, Swiss Federal Institute of Technology. Zurich (1999)

[24] . D. Tsafrir, Y. Etsion, D. Feitelson: Backfilling Using System-Generated Predictions

Rather than User Runtime Estimates. IEEE Transactions on Parallel and Distributed Systems 18 (6), pp.789-803 (2007)

[25] . F. Armenta-Cano, A. Tchemykh, J. M. Cortes-Mendoza, R. Yahyapour, A. Drozdov, P.

Bouvry, D. Kliazovich, A. Avetisyan: Heterogeneous Job Consolidation for Power Aware Scheduling with Quality of Service. Proceedings of the 1st Russian Conference on Supercomputing - Supercomputing Days 2015, Moscow, Russia, September 28-29, 2015. Editors V. Voevodin, S. Sobolev. Published on CEUR-WS: 22-Oct-2015, Vol-1482, p. 687-697. ONLINE: http://ceur-ws.org/Vol-1482/. URN: um:nbn:de:0074-1482-7

377

Trudy ISP RAN [The Proceedings of ISP RAS], vol. 27, issue 6, 2015.

Min e: heterogeneous concentration policy for power aware scheduling2

IF. Armenta-Cano <armentac@cicese.edu.mx>

*A. Tchemykh <chernykh@cicese.mx>

*J. M. Cortes-Mendoza <jcortes@cicese.edu.mx>

2R. Yahyapour <ramin.yahyapour@gwdg.de>

3A. Yu. Drozdov <alexander.y.drozdov@gmail.com> 4P. Bouvry <Pascal.Bouvry@uni.lu>

4D. Kliazovich <Dzmitry.Kliazovich@mi.lu>

5A. Avetisyan <arut@ispras.ru>

6S. Nesmachnow <sergion@fmg.edu.uy> 1G1GESE Research Center, Ensenada, Mexico 2GWDG- University of Gottingen, Gottingen, Germany 3MIPT, Moscow, Russia 4University of Luxembourg. Luxembourg 5ISP RAS, Moscow, Russia 6Universidad de la Republica, Montevideo, Uruguay

Abstract. In this paper, we address power aware online scheduling of jobs with resource contention. We propose an optimization model and present new approach to resource allocation with job concentration taking into account types of applications. Heterogeneous workloads include CPU intensive, disk I/O intensive, memory intensive, network I/O intensive and other applications. When jobs of one type are allocated to the same resource, they may create a bottleneck and resource contention either in CPU, memory, disk or network. It may result in degradation of the system performance and increasing energy consumption. We focus on energy characteristics of applications, and show that an intelligent allocation strategy can further improve energy consumption compared with traditional approaches. We propose heterogeneous job consolidation algorithms and validate them by conducting a performance evaluation study using the CloudSim toolkit under different scenarios and real data. We analyze several scheduling algorithms depending on the type and amount of information they require.

Keywords: Energy efficiency, type of applications, resource contention, scheduling.

2

The work is partially supported by the Ministry of Education and Science of Russian Federation under contract No02.G25.31.0061 12/02/2013 (Government Regulation No 218 from 09/04/2010).

378

Труды ИСП РАН, том 27, вып. 6, 2015 г..

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.

References

[1] . D. Kliazovich, J. Е. Pecero, A. Tchemykh, Р. Bouvry, S. U. Khan, A. Y. Zomaya, CA-

DAG: Modeling Communication-Aware Applications for Scheduling in Cloud Computing, Journal of Grid Computing, 2015.

[2] . A. Beloglazov, J. Abawajy, and R. Buyya, Energy-aware resource allocation heuristics

for efficient management of data centers for Cloud computing, Future Gener. Comput. Syst, vol. 28, no. 5, pp. 755-768, May 2012.

[3] . J. Luo, X. Li, and M. Chen, Elybrid shuffled frog leaping algorithm for energy-efficient

dynamic consolidation of virtual machines in cloud data centers, Expert Syst. Appl., vol. 41, no. 13, pp. 5804-5816, Oct. 2014.

[4] . C.-H. Hsu, K. D. Slagter, S.-C. Chen, and Y.-C. Chung, Optimizing Energy

Consumption with Task Consolidation in Clouds, Inf. Sci., vol. 258, pp. 452^162, Feb. 2014.

[5] . S. Hosseinimotlagh, F. Khunjush, and S. Hosseinimotlagh, A Cooperative Two-Tier

Energy-Aware Scheduling for Real-Time Tasks in Computing Clouds, in Proceedings of the 2014 22Nd Euromicro International Conference on Parallel, Distributed, and Network-Based Processing, Washington, DC, USA, 2014, pp. 178-182.