МУЛЬТИАГЕНТНАЯ МОДЕЛЬ УПРАВЛЕНИЯ РЕСУРСАМИ ВИРТУАЛЬНОГО ЦОД, ПОСТРОЕННОГО НА БАЗЕ ПРОГРАММНО-КОНФИГУРИРУЕМОЙ ИНФРАСТРУКТУРЫ Текст научной статьи по специальности «Компьютерные и информационные науки»

УДК 519.687

И.П. Болодурина, доктор технических наук, профессор, заведующий кафедрой прикладной математики, ФГБОУ ВО «Оренбургский государственный университет» e-mail: prmat@mail.osu.ru

Д.И. Парфёнов, кандидат технических наук, начальник отдела программно-технической поддержки дистанционного обучения, ФГБОУ ВО «Оренбургский государственный университет» e-mail: fdot_it@mail.osu.ru

В.Н. Булатов, доктор технических наук, профессор кафедры промышленной электроники и информационно-измерительной техники, ФГБОУ ВО «Оренбургский государственный университет» e-mail: bulat@o56.ru

МУЛЬТИАГЕНТНАЯ МОДЕЛЬ УПРАВЛЕНИЯ РЕСУРСАМИ ВИРТУАЛЬНОГО ЦОД,

ПОСТРОЕННОГО НА БАЗЕ ПРОГРАММНО-КОНФИГУРИРУЕМОЙ ИНФРАСТРУКТУРЫ

В статье представлены результаты исследования по разработке модели управления программно-конфигурируемой инфраструктуры виртуального центра обработки данных (ЦОД) для предоставления облачных приложений и услуг. Новизной построенной модели является применение методов интеллектуального анализа и прогнозирования динамических характеристик при исследовании многокомпонентных систем. Гибкость построенной модели обеспечивается за счет агентно-ориентированного подхода. Множество объектов виртуального центра обработки смоделировано в виде агентов: вычислительные узлы представлены как агентные платформы, выступающие в роли ресурсов ЦОД; приложения и сервисы выступают в роли потребителей ресурсов. Отличительной особенностью предложенной модели является множество индивидуальных параметров, отражаемых в виде требований по обеспечению качества обслуживания при размещении данных приложений и сервисов в системе хранения виртуального центра обработки данных, построенного на базе программно-конфигурируемой инфраструктуры.

Ключевые слова: облачные вычисления, виртуальный центр обработки данных, программно-конфигурируемая инфраструктура, программно-конфигурируемая сеть.

В настоящее время проблема эффективного использования имеющихся вычислительных ресурсов в центрах обработки данных (ЦОД) является актуальной задачей [1]. Современные коммуникационные технологии создали среду для многих критически важных бизнес-приложений и сервисов на основе облачных вычислений [2 - 4].

В последние годы в ЦОД для обеспечения соглашения об уровне обслуживания применяют виртуализацию физических серверов и сетей. Однако такие подходы не всегда достаточно эффективны. Традиционной проблемой современных центров обработки данных является обеспечение качества обслуживания (QoS) для различных групп приложений и сервисов [15]. При этом одной из важных характеристик является время отклика системы, которое в свою очередь складывается из множества зависимых факторов, таких как загрузка сети и вычислительных узлов, географическое расположение приложений и сервисов относительно обрабатываемых данных и клиента [1, 5]. Для обеспечения гарантированного уровня QoS все элементы системы должны соответствовать следующим требованиям:

1) распределение нагрузки на существующие вычислительные ресурсы должно учитывать тип приложения, а также набор сервисов, к которым запрошен доступ;

2) гибкая миграция ресурсов должна позволять консолидировать виртуализированные объекты облачной системы для устранения сегментации физических ресурсов, возникающих в процессе работы центров обработки данных;

3) пользователи должны иметь возможность определять и использовать функции виртуальных сетей для управления потоками данных и их распределения между виртуальными и физическими узлами.

Требование 3) может быть частично выполнено при использовании программно-конфигурируемой сети. Требования 1) - 2) не поддерживаются в существующих коммерческих и открытых облачных платформах. Кроме того, ни один из известных алгоритмов планирования ресурсов в облачных платформах не соответствует всем трем условиям в совокупности [13]. Успешное выполнение всех требований возможно при реализации правил самоорганизации ресурсов на всех уровнях виртуальных ЦОД. Внедрение системы правил для гарантированного обеспечение качества обслуживания в таких условиях является сложной задачей. Чтобы решить эту проблему, все критически важные элементы ЦОД должны быть гибкими. Использование концепции организации ЦОД на основе программно-конфигурируемой инфраструктуры (ПКИ) по-

зволяет гибко изменять конфигурацию объектов в течение короткого интервала времени без прерывания существующих подключений [8]. Однако такое решение не лишено недостатков. Узким местом ПКИ являются хранилища объектов и данных [6]. Существующие подходы виртуализации систем хранения и алгоритмы размещения данных либо не учитывают отображение всех типов ресурсов [11, 12], либо могут использоваться только для фиксированной топологии сети ЦОД [7, 10].

Архитектура программно-конфигурируемой инфраструктуры позволяет использовать хранилища с программно-определяемой структурой (SDS) [9]. Однако отсутствие прогнозирования источников данных и недостаточная изоляция потоков данных влияют на производительность систем хранения в среде облачных вычислений [11].

Основной задачей исследования является построение модели, позволяющей описать основные принципы организации взаимодействия ресурсов и выполнения задач по оптимальному размещению и эффективному запуску облачных приложений в виртуальном ЦОД. Под задачей организации взаимодействия ресурсов и облачных приложений понимается следующая последовательность действий:

1) формирование требований для выполнения запроса на поиск ресурсов среди (сетевых и вычислительных) узлов ЦОД;

2) формирования плана реконфигурации и сегментации ресурсов ЦОД;

3) реконфигурация и выполнение запроса на размещение и запуск облачного приложения, в том числе подключение к сервисам и источникам данных, размещаемым на оптимальных устройствах хранения данных.

В рамках данного исследования разработана мультиагентная модель управления ресурсами виртуального ЦОД, построенная на базе программно-конфигурируемой инфраструктуры с поддержкой самоорганизации ключевых объектов.

Для эффективного анализа и прогнозирования динамических характеристик, а также для обеспечения гибкости построенных моделей нами использован агентно-ориентированный подход. Множество объектов ЦОД моделируются в виде агентов, каждый узел в этом случае представляет собой агентную платформу, под управлением которой функционируют агенты, выступающие в роли ресурсов, а также приложения и сервисы, выступающие в роли потребителей. Отличительной особенностью предложенной модели является множество индивидуальных параметров, необходимых для выполнения поставленных задач, отражаемых в виде требований соответствия качества обслуживания в составе характеристик ресурсов.

Рассмотрим основные элементы мультиагент-ной модели. Имеется множество ресурсов виртуального центра обработки данных:

R = R Яп ). _

Каждый ресурс Rj, j = 1... N характеризуется:

- ценой Sj, которая выражается в условных единицах ресурсоемкости и назначается самим ресурсом в зависимости от текущего состояния инфраструктуры виртуального ЦОД;

- заданным максимальным временем выполнения запроса T max ;

- приоритетом доступа/порядка запуска Pj ;

- подмножеством HR = (HRri,HR2,...,HRjk), которое представляет собой набор параметров, которыми описывается ресурс, при этом HfRi характеризует доступный объем по каждому из параметров;

- подмножеством ERR = (ERri,ER2,...,EKjk), которое представляет собой эффективность использования ресурса по каждому из параметров HRjt ;

- вектором данных о допустимом времени выполнения PV(Rj ) поставленной задачи.

Рассмотрим множество узлов виртуального ЦОД WN = (WN1,WN2,.,WNl). Каждый узел WNl, l = 1... L характеризуется

- вектором свойств PV(WNl ), характеризующих ключевые параметры узла инфраструктуры ЦОД;

- таким подмножеством ресурсов, что каждый их них образует граф связей Rj = (WN (t ), Connections(t ), Servis (t )), в котором ветви являются вычислительными узлами или сетевыми объектами, а дуги являются подключениями к требуемым сервисам.

Кроме этого в модели программно-конфигурируемой инфраструктуры виртуального ЦОД выделяется множество задач, формализуемых как требования по обеспечению работы облачных приложений O = (O1,O2,...,Om), где Om,m = 1.M . Каждая задача характеризуется:

- набором подключаемых сервисов Y = {ym } ;

-подмножеством HO = (H°mX,H°m2,...,<,) -

набор параметров, необходимых для запуска сервиса, в качестве основных из которых выступают характеристики, влияющие на качество обслуживания (максимальное время выполнения, время отклика и другое).

В составе мультиагентной модели управления ресурсами каждый агент-менеджер представляет собой конкретный ресурс и характеризуется своими параметрами HO, приоритетом запуска P, максимальным временем исполнения (отклика) T maxj и так далее. Целью для каждого агента является поиск ресурсов, которые могли бы выполнить требуемые задачи с минимальными затратами. Для этого агенту необходимо рассчитать локальное оптимальное расписание с учетом затрат на ресурсы как результат имитации взаимодействий между задачами и ресурсами.

Для более детального описания характеристик основных объектов программно-конфигурируемой инфраструктуры нами реализована структурная

модель, описывающая основные элементы виртуального ЦОД.

Основой структурной модели является программно-конфигурируемая сеть, которая может быть представлена в виде взвешенного ориентированного мультиграфа:

G = (Nodes, Links), (1)

Nodes = {Node.} — - множество сете-

i7i=1, N

вых устройств (узлов / серверов / и т.д.).; Links = {Linkj} .=— - множество дуг, представляющих собой сетевое соединение.

Ребра мультиграфа Linksk = {(pM, pkj)} - это двусторонние сетевые соединения между портами сетевых устройств виртуального ЦОД.

Каждое сетевое устройство характеризуется следующим кортежем:

Nodet = (L, p, C,, Mt, T) (2)

Lj - множество дуг, исходящих из вершины; p : Lt ^ Z + u {0} - функция, которая характеризует текущую задержку для каждой дуги; C : Lt ^ Z + u {0} - пропускная способность; Mj : Lj ^ Z + u {0} - максимальная пропускная способность; T е {host, switch} - тип устройства.

Структурная модель программно-конфигурируемой инфраструктуры может быть определена как направленный мультиграф:

SDI = (Seg, Connect (t)), (3),

где вершины графа Seg = {Seg1,Seg2,...,Segs} -множество разделенных сегментов (автономных систем), соединенных между собой с помощью программно-конфигурируемых сетей, образованных в процессе работы облачных приложений с целью эффективной изоляции потоков данных и оптимального использования ресурсов физического ЦОД; дуги графа Connect(t) = {(Segi,Segj)} - направленная связь между сегментами через программно-конфигурируемую сеть.

Каждый сегмент Segk е Seg распределенной программно-конфигурируемые инфраструктуры может быть описан в виде взвешенного неориентированного мультиграфа:

Segk = (Devicesk, LinksVk, Flowsk (t)), (4), где узлами графа являются устройства Devicesk = {Devicesk 1,..., Devicesk n }, входя-

щие в состав выбранного сегмента Segk сетевой топологии виртуального ЦОД; LinksVk = {LinksVk1,..., LinksVkn} - временные виртуальные сетевые соединения, образуемые на время взаимодействия устройств в процессе выполнения задачи; Flowsk (t) - потоки данных облачных приложений, перемещаемые в момент времени t в пределах образованного сегмента Segk между устройствами виртуального ЦОД.

Устройства могут быть описаны как объединение множеств

Devicesk = Nodes k u Switchesk (5)

Nodesk = {Nodek 1, Nodek 2,..., Nodek n } - набор вычислительных узлов;

Switchesk = {Switchk1,Switchk 2,...,Switchkm } -

набор коммутаторов и других сетевых объектов, задействованных в данном сегменте.

Вычислительные узлы Nodek t е Nodesk в современном понимании могут иметь различные назначения в инфраструктуре ЦОД. Опишем основные виды узлов как объединение множеств:

Nodek . = VMki u Control,, u GWk . u Bk . u Stgk, (6), VMk = {VMkд, VMk,2,..., VMk, } - виртуальные машины, предназначены для запуска приложений и сервисов;

Ck = {Ck1, Ck 2,..., Ckz } - контролеры OpenFlow, позволяют осуществлять мониторинг и динамическую реконфигурацию топологии сети ЦОД;

GWk = {GWk1,GWk 2,...,GWkw } - шлюзы, являются входной точкой между сегментами сети и глобальными сетями;

Bk = {Bk1,Bk2,...,Bkb } - балансиры OpenFlow, отвечают за распределение нагрузки по все виртуальной сети ЦОД;

Stgk = {Stgk,1, Stgk,2,..., Stgka } - хранилища данных (NAS/SAN), применяются для распределенного хранения образов виртуальных машин и информации различной структуры, необходимой для работы сервисов и приложений.

Каждый вычислительный узел Nodek t е Nodesk имеет следующие параметры и динамические характеристики:

NodeKl = (MK„Dk,,CoreKl,SKl,mKl(t), djt),^ (t)), (7), где Mk t е N и Dkj е N - соответственно размер оперативной памяти (Мб) и емкость диска (Мб); Corek t е N - число вычислительных ядер; Sk t е R+ - производительность ядер; mk t (t) е [0,1] и dk t (t) е [0,1] - время отклика; snkf (t) е {" online"," offline"} - состояние узла.

На каждом узле есть очередь задач Qj (t) = {Qje (t)}. Она используется для обеспечения качества обслуживания в соответствии с минимальной гарантированной пропускной способностью и максимальной задержкой для данного сегмента сети.

Qje (t) = (MinBje (t),MaxD^ (t)), (8), где MinBj; (t) е N u {0} и MaxDj (t) е N u {0} представляют собой, соответственно, минимальную пропускную способность и максимальную задержку для соответствующей очереди порта (в мс), которые были созданы для обеспечения механизма QoS.

Как отмечалось ранее, ключевым элементом инфраструктуры является хранилище данных. Аппаратные устройства хранения данных содержат изображения экземпляров виртуальных машин, приложений баз данных, а также компоненты инфраструктуры облачных вычислений.

Ранее нами исследовались решения для облачных хранилищ данных, обеспечивающих миграцию данных, а также алгоритмы размещения данных на устройствах [7]. Использование программно-

управляемых хранилищ требует доработки разработанных решений в части определения типов размещаемых данных относительно их структуры. В ходе исследования нами проведена классификация данных, размещаемых на устройствах в сетевой среде. На основе матрицы соответствий нами построен алгоритм, позволяющий определять структурированность получаемых данных для определения конечного способа размещения (СХД / SQL / noSQL), вида физического устройства (HDD или SSD), а также непосредственный выбор самого оптимального устройства. Таким образом, размещаемые в хранилище данные можно представить в виде структуры Data = (TypeS, TypeD, RDisk ), где TypeS - способ размещения, TypeD - вид физического устройства, RDsik - физическое устройство хранения.

Каждый сегмент Segk имеет хранилище Stgk i е Stgk со следующими параметрами и динамическими характеристиками

Stgk. = (MaxVk. P, Volk. (t)Rki (t), Wk,i (t), $ (0), (9),

где MaxVk i е N - максимальная емкость для хранения (Mb); P^°rage = {psjrage}j - множество сетевых портов; Volkj (t) е_N ^ {0} -доступный объем для хранения в Mb; R k ,i (t ) и W k (t ) - скорость чтения и записи; ssloJage (t) е {"online ", " offline "} -состояние.

В ходе исследования установлено, что размещение данных на физических устройствах имеет ряд ограничений, влияющих как на производительность операции по чтению/записи данных, так и на процесс оптимизации расположения данных на устройствах. Для нейтрализации установленного ограничения предлагается применять программно-управляемые хранилища данных. Данный вид хранилища можно представить в виде следующей структуры:

SoftStg = (Vm,Lan,Stype,Dtype,RDisk (t),Vdisk ), (10),

где Vm - виртуальная машина или сетевой контейнер, Lan - скорость доступа сетевого интерфейса, Stype - поддерживаемый способ размещения данных, Dtype вид физического устройства, на котором будет размещаться виртуальная машина; RDisk (t ) - конкретное физическое устройство, содержащее виртуальную машину в данный момент времени t; Vdisk - общий объем хранилища данных.

Преимуществом такого размещения данных является возможность миграции хранилища между физическими устройствами. При этом связи и доступность данных со стороны облачной платформы остаются непрерывными, так как соединение осуществляется с виртуальным хранилищем, а не с физическим устройством.

Концепция программно-управляемых хранилищ строится так же на принципах самоорганизации на базе абстракций. В настоящем исследовании использована разработанная ранее модель вычис-

лительных ресурсов облачной системы, которая позволяет прогнозировать поток запросов пользователей к облачной системе. В дополнении к существующим объектам облачной инфраструктуры в модель введено понятие агента и узла управления. Агент представляет собой вычислительный узел облачной системы, который может выступать как в роли вычислительного узла Snode, так и системы хранения данных Sstg или сетевого хранилища данных Snas. При этом в любой момент времени агент может стать узлом управления. Это возможно благодаря сегментации вычислительных узлов.

В основу самоорганизации программно-управляемого хранилища данных положена адаптивная модель динамической реконфигурации адаптации к изменениям ресурсов. Это помогает оптимизировать организационную структуру облачной платформы, а именно алгоритмы поиска оптимальных узлов управления, а также выделить группы управления с использованием алгоритмов интеллектуального анализа данных [14]. Предлагаемая нами модель управления состоит из двух частей: узлов и ресурсов. При формировании программно-управляемых хранилищ на каждом виртуальном вычислительном узле запускается программное обеспечение, отвечающее за обмен техническими данными об устройствах. При этом обмен осуществляется в пределах группы узлов, осуществляющих хранение данных с одним способом хранения. При этом среди группы узлов выбирается наименее загруженный узел, выступающий в роли узла управления. Такой подход позволяет снизить риск деградации управляющего узла во время работы. Тем не менее, если происходит потеря связи с управляющим узлом, у оставшихся в группе виртуальных машин всегда присутствуют данные друг о друге, что позволяет произвести автоматически выбор нового узла управления и делегировать ему полномочия, что так же снижает риски отказов системы управления. Помимо задачи организации обмена и управления хранилищами своей группы, управляющий узел осуществляет взаимодействие с узлами управления других групп для поддержания актуальной информации о состоянии всей системы в целом. Таким образом, вся система программно-управляемых хранилищ построена по иерархическому сетевому принципу, включающему три базовых уровня: первый - оперативного доступа; второй - управления в сегменте; третий - обмена данными на уровне всей системы в целом.

Выводы. В результате исследования предложена модель, описывающая структуру управления виртуального ЦОД на базе концепции программно-конфигурируемой инфраструктуры. Разработанная модель позволила установить, что проблема производительности облачных приложений и сервисов напрямую зависит от эффективности работы системы хранения, что в свою очередь влияет на обеспе-

чение качества обслуживания конечных пользователей. В дальнейшем для реализации полноценной поддержки политики качества обслуживания в виртуальном ЦОД потребуется решение ряда дополнительных задач:

1. Сбор информации о топологии виртуальной сети с учетом возможностей отслеживания появление в сети новых узлов, приложений и потоков данных.

2. Сбор параметров сетевой статистики на пор-

тах коммутаторов (текущую задержку, пропускную способность и т.д.). Это позволит реализовать возможность адаптивной маршрутизации и обеспечить качество обслуживания в сети.

Полученные данные позволят построить и реализовать имитационную модель виртуального ЦОД в системах МЫ^ и Апу^ю и исследовать ее адекватность в условиях реальной сети.

Исследования выполнены при поддержке РФФИ (проекты №16-37-60086 мол_а_дк, 16-07-01004).

Литература

1. Бойченко, И.В. Управление ресурсами в сервис-ориентированных системах типа «приложение как сервис» / И.В. Бойченко, С.В. Корытников // Доклады Томского государственного университета систем управления и радиоэлектроники. - 2010. - №1-2. - С.156-160.

2. Бухановский, А.В. CLAVIRE: перспективная технология облачных вычислений второго поколения /

A.В.Бухановский, В.Н.Васильев, В.Н.Виноградов, Д.Ю.Смирнов, С.А.Сухоруков, Т.Г.Яппаров // Известия вузов. Приборостроение. - 2011. - №10. - С. 7-14.

3. Грибова, В.В. Базовая технология разработки интеллектуальных сервисов на облачной платформе IACPaaS. Часть 2. Разработка агентов и шаблонов сообщений / В.В.Грибова, А.С.Клещев, Д.А.Крылов, Ф.М.Москаленко, В.А.Тимченко, Е.А.Шалфеева // Программная инженерия. - 2016. - №1. С.14-20.

4. Грибова, В.В. Облачная платформа IACPAAS: текущее состояние и перспективы развития /

B.В.Грибова, А.С.Клещев, Д.А.Крылов, Ф.М.Москаленко // Информационные и математические технологии в науке и управлении. - 2016. - №2. - С.94-102.

5. Жуков, А.В. Некоторые модели оптимального управления входным потоком заявок в интранет-системах. / А.В.Жуков // Материалы 6-й научно-технической конференции «Новые информационной технологии в ЦБП и энергетике», Петрозаводск, 2004. - С.87-90.

6. Майер-Шенбергер, В. Большие данные. Революция, которая изменит то, как мы живем, работаем, мыслим/ В.Майер-Шенбергер, К.Кукьер //. - Москва: Манн, Иванов и Фербер, 2014. - 240 с.

7. Парфёнов, Д.И. Сравнение эффективности алгоритмов динамического распределения данных в облачных хранилищах системы дистанционного обучения / Парфёнов Д.И. // Системы управления и информационные технологии. - № 4.1 (50). - 2012. - С. 163-168.

8. Тарасов, В.Н. Математические модели облачного вычислительного центра обработки данных с использованием OpenFlow / В.Н.Тарасов, П.Н.Полежаев, А.Е.Шухман, Ю.А.Ушаков, А.Л.Коннов // Вестник Оренбургского государственного университета. - 2012. - № 9. - C. 150-155.

9. Устименко, О.В. Перспективы развития распределённого хранения сверхбольших объёмов данных / О.В.Устименко // Материалы XVIII международной научной конференции объединения молодых ученых и специалистов ОИЯИ (ОМУС), Дубна, 2014. - С. 198-207.

10. Wuhib, F. Dynamic resource allocation with management objectives - Implementation for an OpenStack cloud / F. Wuhib, R.Stadler, H.Lindgren // Network and service management, 2012 8th international conference and 2012 workshop on systems virtualization management, 2012. - C. 309-315.

11. Bocchi, E. Personal Cloud Storage Benchmarks and Comparison / E.Bocchi, I.Drago, M.Mellia // IEEE Transactions on Cloud Computing. 2015. Vol. 99. DOI: 10.1109/TCC.2015.2427191

12. Darabseh, A. SDStorage: A Software Defined Storage Experimental Framework / M.Al-Ayyoub, Y.Jararweh, E.Benkhelifa, M.Vouk, A.Rindos // Proc. of Cloud Engineering (IC2E), Tempe: IEEE Press, 2015. P.341- 346.

13. Plakunov, A. Data center resource mapping algorithm based on the ant colony optimization / A.Plakunov, V.Kostenko // Proc. of Science and Technology Conference (Modern Networking Technologies) (MoNeTeC), Moscow: IEEE Press, 2014. P.1- 6.

14. Wu, X. Top 10 algorithms in data mining / X.Wu, V.Kumar, J.Ross // Journal Knowledge and Information Systems DOI 10.1007/s10115-007-0114-2.

15. Singh, A. Server-storage virtualization: integration and load balancing in Data Centers/ A.Singh, M.Korupolu, D.Mohapatra // Proc. of the 2008 ACM/IEEE Conf. on Supercomputing. Austin: IEEE Press, 2008. P.1-12.