CC BY
159
ДИНАМИЧЕСКОЕ РАСПРЕДЕЛЕНИЕ ВЫЧИСЛИТЕЛЬНЫХ РЕСУРСОВ ЦЕНТРОВ ОБРАБОТКИ ДАННЫХ
Ворожцов Анатолий Сергеевич,
к.т.н., доцент, доцент кафедры ИС, Московский Технический Университет Связи и Информатики (МТУСИ), Москва, Россия, as.vorojcov@mail.ru
Тутова Наталья Владимировна,
к.т.н., доцент кафедры ИС, Московский Технический Университет Связи и Информатики (МТУСИ), Москва, Россия, e-natasha@mail.ru
Тутов Андрей Владимирович,
аспирант, Московский Технический Университет Связи и Информатики (МТУСИ), Москва, Россия, e-natasha@mail.ru
Ключевые слова: оптимальное размещение серверов, облачные вычисления, управление ресурсами, динамическое распределение виртуальных машин, многокритериальная оптимизация.
Рассматривается проблема динамического распределения виртуальных машин (ВМ) в облачных центрах обработки данных (ЦОД). Сущность динамического распределения состоит в учете в реальном времени потребностей приложений, а также состояния центра обработки данных. Динамическое распределение необходимо при изменении нагрузки или количества необходимых ВМ ресурсов, а также запросов на добавление/удаление виртуальных машин. Основными задачами данной проблемы являются отслеживание условий, при которых необходимо предпринять действия по миграции ВМ, включению/выключению физических серверов, выбору виртуальных машин для миграции и узлов назначения. В большинстве опубликованных работ на данную тему вопрос о динамической миграции зависит только от состояния самих ВМ или производительности, размещенных на них приложений, без учета большинства критериев, связанных с состоянием ЦОД и последовательностью действий по оптимальному размещению ВМ на физических серверах. Учет таких критериев, как тепловыделение, более полное использование ресурсов серверов, энергопотребление, позволит повысить эффективность центра обработки данных. Предлагается методика динамического распределения ВМ в центрах обработки данных, включающая в себя три этапа: определение условий, при которых необходимо начинать миграцию, выбор виртуальных машин и определение хоста назначения. Особенностью данной методики является также включение блока определения параметров критериальных функций. Выбор хоста назначения осуществляется путем минимизации обобщенного критерия. Кроме этого, учитывается предыстория работы сервера, и делается прогноз его работы в ближайшее время методом группового учета аргументов, позволяющих получить результат в условиях статистически незначимой выборки. Для оценки эффективности предложенной методики проведено имитационное моделирование с использованием библиотеки CloudSim. Сравнение многокритериального алгоритма выбора узла назначения с известными показало уменьшение числа ненужных миграций и значительное улучшение таких характеристик ЦОД как тепловыделение, равномерность загрузки ресурсов и энергопотребление.
Для цитирования:
Ворожцов А.С., Тутова Н.В., Тутов А.В. Динамическое распределение вычислительных ресурсов центров обработки данных // T-Comm: Телекоммуникации и транспорт. - 2016. - Том 10. - №7. - С. 47-5 1.
For citation:
Vorozhtsov A.S., Tutova N.V., Tutov A.V. Dynamic computing resource allocation in data centers. T-Comm. 2016. Vol. 10. No.7, рр. 47-51.
(in Russian)
Я
47
Введение
Технологии виртуализации позволяют гибко управлять вычислительными ресурсами центров обработки данных (ЦОД), повышая экономическую эффективность и надежность системы. Ключевой тенденцией последних лег в бизнесе операторов ЦОД является активное внедрение технологий виртуализации и предоставление на их основе облачных сервисов. По опенкам консалтингового агентства ¡К5-СопяиИшц объем российского рынка облачных услуг в 2014 г. составил почти 13 млрд. руб., показав рост на 35% к предыдущему году. К 2018 году прогнозируется увеличение рынка в 2,5 раза по сравнению с 2014 г. до объема 32 млрд. руб. [1].
Внедрение облачных технологий ставит перед операторами ЦОД задачи эффективного управления виртуальными машинами (ВМ). Оптимальное решение данных вопросов особенно актуально в связи с высоким текущим уровнем загрузки ЦОД. Например, в России на 2015 год существующие крупные коммерческие ЦОД заполнены на 81% (средняя выборка по десяти крупнейшим сетям) [2].
Оптимизация процессов управления ВМ важна также в силу масштабности задачи. Технологии виртуализации позволяют разместить несколько ВМ на одном физическом сервере, таким образом, число объектов управления может увеличиться кратно. При этом сам рынок имеет тенденцию к укрупнению. По данным аналитической компании ЮС площадь ЦОД во всем мире увеличится со 150 млн. м: в 2013 г. до 180 млн. м2 в 2018 г. Рынок будет эволюционировать в сторону гигантских ЦОД - к 2018 году 72,6% новых площадей будет приходиться на сверхкрупные дата-центры. Для России характерны те же тренды - постепенная миграция с частной инфраструктуры на сервисы крупных внешних провайдеров [3].
Для эффективного управления облачными ЦОД операторам требуются инструменты оптимизации размещения ВМ среди физических серверов. В настоящей работе предлагается методика динамического распределения ВМ, включающая определение условий, при которых необходимо начинать миграцию, выбор виртуапьных машин и узла назначения, Особенностью данной методики является включение блока определения параметров таких критериальных функций, как температура и загрузка ресурсов физических серверов, а также энергопотребление.
Обзор работ
В литературе для облаков по требованию существует два типа размещения виртуальных машин: первоначальное размещение и миграция виртуальных машин [4-81. Несмотря на то, что в некоторых случаях могут применяться схожие алгоритмы, первоначальное размещение и миграция, как правило, рассматриваются как отдельные темы. Методика многокритериального размещения виртуальных машин в облачном ЦОД предложена в [9].
В большинстве опубликованных работ на данную тему вопрос о динамической миграции зависит только от состояния самих ВМ или производительности, размещенных на них приложений, без учета большинства критериев, связанных с состоянием центра обработки данных, таких как изменения температуры процессоров, энергопотребления и более полного использования ресурсов серверов. Учет данных критериев и детальная проработка последовательности действий по оптимальному размещению ВМ позволит повысить эффективность и качество облачных сервисов.
Архитектура системы
Центры обработки данных должны создавать надежные и оптимальные условия работы размещенным в них приложениям. При этом условия работы могут характеризоваться непрерывным и значительным изменением нагрузки. В случаях, когда системные изменения выходят за рамки допустимых и могут повлиять на работоспособность приложений, может потребоваться динамическое перераспределение виртуальных машин между физическими серверами без отключения и потери доступности ВМ. Такая «живая миграция» позволит выполнять соглашения об уровне сервиса (SLA), сбалансировать нагрузку между физическими серверами ЦОД, а также размещать виртуальные машины на меньшем числе физических серверов.
Современные гипервизоры VMware ESX, Microsoft Hyper-V или Хеп позволяют администратору в ручном режиме осуществлять динамическое распределение ВМ, Однако в условиях ЦОД критически важным является оперативное определение оптимального решения с учетом текущих и прогнозируемых значений состояния системы. Необходимо избежать неоправданных перемещений ВМ, свести к минимуму ошибки выбора или игнорирования условий.
Динамическое распределение ВМ необходимо в трех основных случаях:
1. Повышения температуры физических серверов до критического порога (наиболее нагруженные ВМ должны быть перемещены для улучшения ситуации и снижения затрат на охлаждение);
2. Недостатка физических ресурсов для работы ВМ (миграция ВМ позволит не потерять их производительности);
3. Снижения энергозатрат (при невысокой загрузке физических серверов имеет смысл консолидировать В M для отключения части серверов).
Стоит отметить, что учет всех критериев является противоречивой задачей. Например, высвободив одни физические серверы и «уплотнив» ВМ на других в целях экономии электроэнергии, возможны ситуации локальных перегревов, увеличения затрат на охлаждение и снижения срока жизни серверов,
В системе управления ЦОД функция динамического распределения В M возлагается на глобальный контроллер, который получает необходимую и ¡[формацию из системы мониторинга. Система мониторинга ЦОД записывает в центральном хранилище системную информацию, такую как использование ресурсов, энергопотребление и тепловыделение. Глобальный контроллер анализирует данную информацию и в соответствии с ней размещает виртуальные машины.
Мониторинг мм жен
1
_
Данные с раелределемммн ЦОД
Глобальный контроллер
Система мониторинга
Уровень приложений
Виртуальный слой
Физический слой
Рис. 1
В дальнейшем, в случае необходимости, возможно расширение функциональности глобального контроллера за счет обработки, например, данных мониторинга инженерных систем (охлаждения) или учета условий работы других глобальных контроллеров втерриториально-распределенных ЦОД.
При динамическом распределении виртуальных машин в ЦОД глобальному контроллеру необходимо решить следующие вопросы:
1. Когда нужно производить перемещение ВМ?
2. Какие ВМ выбрать для миграции?
3. Куда перемещать ВМ?
Для этого глобальный контроллер постоянно анализирует данные сенсоров, поступающие из системы мониторинга, и в случае выхода параметров рабочей модели за допустимый уровень, активизирует процесс миграции виртуальных машин.
действиям. Основной проблемой является отделение временных отклонений (флуктуации) от системных изменений.
Чтобы избежать ошибочного определения предлагается двухуровневый подход. Па первом уровне применяется один из методов математической статистики - метод «скользящего окна», который широко используется для поиска и оценки аномалий сетевого трафика [9].
Суть мет ода заключается в отборе данных в течение определенного интервала времени («ширина» окна), усреднении показателей и их сравнении с предыдущими результатами. Информация с сенсоров накапливается в виде профиля, который представляет собой набор параметров типичного поведения объекта. Отклонение показателей на определенный процент за пределы установленного порога свидетельствует о необходимости перемещения ВМ. Ширина окна влияет на агрессивность наблюдения и задается администратором системы, однако минимальный его размер должен быть больше времени перемещения ВМ, так как очевидно, что процесс перемещения вносит погрешность в результаты наблюдений.
Метод «скользящего окна» может быть некорректен для грендовых (т.е. монотонно повышающихся или понижающихся) стратегий. Кроме того, крайне желательно предсказать ближайшие будущие значения показателей, чтобы избежать ненужных миграций ВМ в ситуациях, когда превышение критическою порога вызвано кратковременными явлениями, например, локальным всплеском нагрузки. Для этого предлагается второй уровень проверки условий, когда для оценки тренда используется математическая модель, параметры которой определяются методом наименьших квадратов. В случае прогнозирования значений показателей за пределами штатных величин срабатывает второе условие для перемещения ВМ, и глобальный контроллер инициирует процесс миграции.
Наблюдение
Действ ие
Рис, 2
Проверка показателей системы осуществляется последовательно, в соответствии с важностью критериев (тепловыделение, неиспользуемые ресурсы, энергоэффективность), при этом процесс наблюдения осуществляется непрерывно, в том числе в случае выполнения действий по перемещению ВМ. Приоритет критериев может быть изменен администратором системы, однако в силу их противоречивости этап проверки должен оставаться последовательным,
В случае возникновения условия для мшрации ВМ, глобальный контроллер определяет ВМ па проблемных узлах и запускает процесс поиска оптимального узла назначения. Выбор узла назначения также является последовательным этапом, где каждая заявка обрабатывается в порядке очереди. После определения узла назначения и запуска процесса перемещения, данный физический сервер временно изымается из списка доступных узлов до окончания ми фации на него ВМ и получения статистической информации о стабильности системы.
Определение условий для миграции виртуальных машин (КОГДА?)
Динамически изменяющаяся нагрузка приводит к непрерывным изменениям системных параметров, поэтому основной задачей глобального контроллера на первом этапе является определение условий, когда необходим переход к
Выбор виртуальных машин для миграции (КАКИЕ?)
Следующим шагом является определение ВМ, подлежащих переносу на другую физическую платформу. Какие виртуальные машины необходимо переместить зависит от характерасобытия:
1. случай перегрева - в первую очередь перемещению подлежат ВМ с максимальной загрузкой процессора, как имеющие наибольшее непосредственное влияние на температуру центрального процессорного модуля (CPU) физического сервера. Так как процесс миграция вызывает дополнительную нагрузку на физические ресурсы, отобранные ВМ сортируются также по объему оперативной памяти (RAM) -чем меньшим размером оперативной памяти обладает ВМ, тем быстрее пройдет процесс перемещения;
2. нехватка ресурсов - на проблемном физическом сервере рассчитываются суммарные средние показатели использования ресурсов и отбираются ВМ с показателями выше средних. Как и в предыдущем случае, перемещению подлежат отсортированные ВМ в порядке увеличения размера их оперативной памяти;
3. э пер го эффективность - в случае определения физического сервера с низкой загрузкой ресурсов, перемещению подлежат все без исключения ВМ, сам сервер выключается.
Выбор узла назначения (КУДА?)
Следующей задачей в динамическом распределении ВМ является выбор узла назначения. Определение конечной цели для миграции должно проводиться с учетом всех
T-Comm Vol. 10. #7-2016
критериев, а также с учетом прогноза состояния стабильности будущей системы. В целом актуальны следующие рекомендации:
• случай перегрева - для баланса температуры в I {ОД узлами назначения должны выбираться самые «прохладные» серверы. При этом используя температурную модель из данных систем мониторинга, глобальный контроллер способен предсказать температуру сервера после размещения на нем ВМ;
• нехватка ресурсов - предпочтение отдается серверам с высоким запасом свободных ресурсов;
• энергоэффективиость - с точки зрения экономии электроэнергии предпочтение отдается нагруженным серверам с достаточным запасом ресурсов, а серверы с низкой загрузкой подлежат освобождению и выключению.
Результаты выбора сервера по различным критериям могут отличаться друг от друга. Одним из наиболее распространенных способов многокритериальной оптимизации является свертка нескольких критериев в одну целевую функцию, имеющую следующий вид:
т т /=а,/г (7)+а^геятгс{рСРЦиКАМ)+а^рт,е^исри)
\Т,иср1ГиЯАМ\
где- критерий тепловыдения /Д-П = I 1Т—Т ) '
1 + е 3>
где Т - текущая температура процессора; Т3— безопасная температура.
/гехягсе— критерий неиспользованные ресурсы
/гезоугсе{иСРи,иВАм) = ^~иО>и "иЯЛМ> где иСРи -загрузка процессора; и да*/-загрузка памяти. /ро»ег - энергопотребление
, I Ро+(Р\ ~Ро)иСРи> исри >0;
Урои/ег\иСРи } -'
О,
- о,
струкций в секунду (MIPS), и 16 Гбайт оперативной памяти. Энергопотребление сервера определялось по формуле (1). В незагруженном состоянии сервер потреблял 175 Вт, а при 100%-ой загрузке процессора - 250 Вт. Каждой ВМ требовался процессор производительностью 250, 500, 750 или 1000 MIPS и 128 Гбайт оперативной памяти. Число ВМ в полностью загруженном ЦОД составило 250. Изменение загрузки процессора моделировалось в соответствии с равномерным распределением, что отражало изменение нагрузки на приложения, запущенных на виртуальных машинах.
Предлагаемый многокритериальный алгоритм выбора хоста назначения сравнивался с используемыми на практике эвристическими алгоритмами упаковки — первый подходящий по убыванию FFD (First Fit Decreasing) и наилучший подходящий по убыванию BFD {Best Fit Decreasing), В соответствии с ними физические серверы были отсортированы по объему свободного CPU, а затем по объему памяти. Сравнение проводилось по критериям энергоэффективности, температурной эффективности и равномерности загрузки ресурсов. Усредненные результаты 10 экспериментов приведены на рис. 3.
иСР1/ -"■> п ^ где ра - потребление электроэнергии незагруженным сервером; р1 - потребление электроэнергии полностью загруженным сервером; ес1} а2, Щ—веса критериев, значения которых устанавливает администратор, исходя из своих текущих задач.
Оптимизация выполняется при ограничениях на параметры физических серверов. Для обеспечения стабильности состояния физических серверов учитывается также предыстория. Прогноз может осуществляться различными математическими методами, однако надо учитывать важное требование - высокую скорость обработки данных, а также необходимость получения результата в условиях статистически незначимой выборки, когда число неизвестных факторов в фиксированный момент времени может быть больше числа таких моментов. По этой причине в данной работе выбран метод группового учета аргументов [11 ],
Экспериментальные результаты
Для проверки эффективности предложенного алгоритма было проведено имитационное моделирование. Для этого использовалась платформа имитационного моделирования Скпк&ш [12], позволяющая моделировать различные сценарии работы облачного ЦОД с добавлением собственных алгоритмов распределения ресурсов.
Моделирование проводилось для ЦОД, состоящего из 100 однородных физических серверов, имеющих одно процессорное ядро, производительностью 2000 миллионов ин-
■ Предлагаемый алгоритм
1FFD
■ BFD
Температурная Энергоэффективиость Равномерность эффективность IV (К] загрузни ресурсов (%)
Рис.3
Полученные результаты показывают эффективность предлагаемого алгоритма на 10-15% по сравнению с алгоритмами BFD и FFD.
Выводы
1. Предложена методика динамического распределения вычислительных ресурсов ЦОД, включающая в себя три этапа: определение условие для перемещения виртуальных машин, выбор ВМ для миграции и выбор хоста назначения.
2. Предлагаемый алгоритм выбора узла назначения позволяет избежать ненужных миграций серверов и учесть критерии, связанные с состоянием ЦОД, такие как тепловыделение, неиспользуемые ресурсы и энергоэффективиость.
Литература
1. Рейтинг по результатам проведенного iKS-Consulting исследования «Облачный лровайдинг: экономика, стратегии, бизнес-модели» URL: http://www.iks-consulting.ru/raLtings-220.html (Дата обращения: 14.04.16),
2. Обзор CNews Analytics «Облачные сервисы 2014» URL: http://www.cnews.ru/reviews/cloud_2014/#lieader 112 (Дата обращения: 14.04.16).
T-Comm Том 10. #7-20 16
3. Обзор CNews Analytics «Облачные сервисы 2015» URL: http://www.cnews.rij/reviews/cloud2Q15/ (Дата обращения: 14.04.16).
4. Вдовнп П.М., Зотов И.А., Костенко В.А., Плакунов А.В.. СмеяянскШ Р.Л. Сравнение различных подходов к распределению ресурсов в центрах обработки данных. Известия РАН. Теория и системы управления, 2014, № 5. С. 7! -83.
5. Weiwei Lin, James Z. Wang, Chen Liang, and Deyu Qi, "A Threshold-based Dynamic Resource Allocation Scheme for Cloud Computing'1, Procedia Engineering volume 23, 2011, pp. 695-703.
6. Y. Yazir, C, Matthews, R. Farahbod, S, Neville. A. Guitouni, S. Ganti, and Y. Coady, "Dynamic resource allocation in computing clouds using distributed multiple criteria decision analysis," in 2010 IEEE 3rd International Conference on Cloud Computing, 2010, pp. 91-98.
7. Zhen Xiao: Weijia Song: Qi Chen, "Dynamic Resource Allocation Using Virtual Machines for Cloud Computing Environment,"
in Parallel and Distributed Systems, IEEE Transactions on, vol.24, no.6, pp.1107-1117, June 2013.
8. Ворожцов А.С., Тутова H.B., Тутов А.В. Оптимизация размещения облачных серверов в центрах Обработки данных // T-Comm: Телекоммуникации is транспорт, 2015. - №6.
9. Ворожцов А С., Тутова И В., Тутов А.В. Методика оптимального распределения серверов в центрах обработки данных // T-Comm: Телекоммуникации и транспорт, 2015. -№7,
10. Шелухин О.И., Сакалема Д.Ж., Филинова А.С. Обнаружение вторжений в компьютерные сети [сетевые аномалии]. - М.: Горячая линия — Телеком, 2013. - 220 с.
11. Ивахненко А.Г., Степашко B.C. Помехоустойчивость моделирования. - Киев: Наук. Думка, 1985.-216с.
12. Платформа CloudSim, URl.:http://www.сloudbus.org/cloudsim/ (Дата обращения: 14.04.16).
DYNAMIC COMPUTING RESOURCE ALLOCATION IN DATA CENTERS
Аnatoliy S. Vorozhtsov, associate professor, Moscow Technical University of Communications and Informatics,
Moscow, Russia, as.vorojcov@mail.ru
Natalya V. Tutova, associate professor, Moscow Technical University of Communications and Informatics, Moscow, Russia,
e-natasha@mail.ru
Andrew V. Tutov, postgraduate student, Moscow Technical University of Communications and Informatics, Moscow, Russia,
andrew_vidnoe@mail.ru
Abstract
The problem of dynamic virtual machine (VM) placement in the cloud data center is addressed. The aim of dynamic VM placement is to provide hosted applications in real-time and to keep the parameters of the data center within limits. Dynamic allocation is necessary when the workload or the number of required resources for VM have been changing, as well as the necessity for adding/removing virtual machines. The key aspects of this problem are monitoring conditions under which it is necessary to take action on VM migration and switching on/off physical servers, selection of virtual machines for migration and selection of destination nodes. In the majority of published articles on this subject, the decision of live migration depends only on the state of the VM itself or the performance of hosted applications without regard to the criteria associated with data center conditions, such as total energy consumption or temperature dissipation. Taking into account these criteria will enable more efficient use of data center equipment. In this paper we propose a method of dynamic VM placement in data centers, including the definition of the conditions under which it is necessary to begin the migration, selection of virtual machines and choice of the destination host. One feature of this method is the inclusion of the block of determination of parameters of such criteria functions as temperature dissipation, power consumption, and uniform resource utilization of physical servers. Selection of the destination host is performed by minimizing the generalized criterion. Taking into account history of server behavior, the forecast of its work in the near future is made using the method of account of group arguments which allows to get the result in a statistically insignificant sample. Efficiency of the proposed method is assessed through simulation using CloudSim toolkit. Comparison of multi-criteria destination node selection algorithm with known ones showed a decrease in the number of unnecessary migrations and significant improvement in such parameters of the data center as temperature dissipation, uniform resource utilization and power consumption.
Keywords: optimal server placement, cloud computing, resource management, virtual machine placement; multi-objective optimization. References
1. iKS-Consulting Analytics "Cloud Providing: Economy, Strategy, Business Models" URL: http://www.iks-consulting.ru/raitings-220.html (14.04.16).
2. CNews Analytics "Cloud Services 2014" URL: http://www.cnews.ru/reviews/cloud_20l4/#headerl 12 (14.04.16).
3. CNews Analytics "Cloud Services 2015" URL: http://www.cnews.ru/reviews/cloud20l5/ (14.04.16). (in Russian)
4. Vdovin P.M., Zotov IA., Kostenko V.A., Plakunov A.V., Smelyansky R.L. Comparing various approaches to resource allocation in data centers // Journal of Computer and Systems Sciences International, 2014, no. 5, pp. 71-83. (in Russian)
5. Weiwei Lin, James Z. Wang, Chen Liang, and Deyu Qi. A Threshold-based Dynamic Resource Allocation Scheme for Cloud Computing / Procedia Engineering, vol. 23, 2011, pp. 695-703.
6. Y. Yazir, C. Matthews, R. Farahbod, S. Neville, A. Guitouni, S. Ganti, and Y. Coady. Dynamic resource allocation in computing clouds using distributed multiple criteria decision analysis / 2010 IEEE 3rd International Conference on Cloud Computing, 2010, pp. 91-98.
7. Zhen Xiao; Weijia Song; Qi Chen. Dynamic Resource Allocation Using Virtual Machines for Cloud Computing Environment / Parallel and Distributed Systems, IEEE Transactions on , vol. 24, no. 6, pp. 1 107-1 1 1 7, June 201 3.
8. Vorozhtsov А.S., Tutova N.V., Tutov A.V. Optimal cloud servers placement in data centers / T-Comm, no. 6, 2015. Pp.4-8. (in Russian)
9. Vorozhtsov АS., Tutova N.V., Tutov A.V. The technique of optimal virtual server placement in data centers / T-Comm, no. 7, 2015. Pp. 5-10. (in Russian)
10. Shelukhin O.I., Sakalema D.Z., Filinova A.S. Intrusion detection in computer networks. Network anomalies. Moscow, 201 3. 220 p. (in Russian)
11. Ivahnenko A.G., Stepashko V.S. Error controlled modeling. Kiev, 1985, 216 p.
12. CloudSim toolkit, URL:http://www.cloudbus.org/cloudsim/ (14.04.16).
T-Comm Vol. 10. #7-2016
