CC BY
27Болодурина И.П., Парфёнов Д.И. УДК 519.687
МОДЕЛИРОВАНИЕ ОБЪЕКТОВ ВИРТУАЛЬНОГО ЦЕНТРА ОБРАБОТКИ ДАННЫХ Болодурина Ирина Павловна
Д.т.н., профессор, заведующий кафедрой, ФГБОУ ВО "Оренбургский государственный университет", 460018 г. Оренбург, пр. Победы 13, e-mail: prmat@mail .osu.ru
Парфёнов Денис Игоревич К.т.н., начальник отдела, ФГБОУ ВО "Оренбургский государственный университет", 460018 г. Оренбург, пр. Победы 13, e-mail: fdot_it@mail .osu.ru
Аннотация. Для эффективного доступа к большим массивам данных (BigData) необходимо обеспечивать минимальное время отклика сервиса. Для достижения поставленной цели требуется разработка моделей и алгоритмических решений, способных оптимизировать размещение ключевых ресурсов: виртуальных машин, данных, приложений в хранилищах облачных систем.
Ключевые слова: облачные вычисления, виртуальные центры обработки данных, программно-управляемые устройства хранения
Введение. В настоящее время проблемы эффективного использования имеющихся вычислительных ресурсов являются весьма актуальной задачей. Прежде всего, это связано с тем, что в мировых корпоративных и частных центрах обработки данных (ЦОД) накоплен колоссальный объем вычислительных мощностей. Для снижения затрат на содержание такой значительной инфраструктуры в ЦОД применяют методы виртуализации ресурсов и передают в совместное использование часть имеющихся ресурсов. При этом конечные пользователи получают распределенную инфраструктуру, включающую различные гетерогенные вычислительные ресурсы и сервисы для обработки «больших» данных [6] с использованием сети передачи данных [1, 16].
Современные облачные вычислительные ресурсы имеют высокую структурную сложность. Для описания организации взаимодействия между предметно-ориентированными программными сервисами и распределенными источниками данных в рамках сервис-ориентированной вычислительной инфраструктуры в работах А.В. Бухановского, С.В. Ковальчука [2, 7] используется подход, основанный на описании рабочих потоков (WorkFlow). Однако такой подход не позволяет использовать возможности самоорганизации ресурсов при управлении инфраструктурой для обеспечения оптимальной производительности приложений. Как правило, для управления ресурсами используются простейшие классические алгоритмы планирования вычислительных заданий, представляющие собой сочетания алгоритма обратного заполнения Backfill [5] с методами их распределения на устройства First Fit или Best Fit [2]. Существенным недостатком перечисленных алгоритмов является недостаточно эффективная загрузка ресурсов системы. Средняя загрузка составляет 50-60% от номинальных возможностей инфраструктуры, что, очевидно, является недостаточным. Существующие алгоритмы планирования и распределения ресурсов не учитывают топологию системы, коммуникационные схемы
взаимодействия запускаемых приложений. Кроме этого, в алгоритмах не учитываются структура и порядок доступа к данным.
В состав ресурсов, предоставляемых облачными платформами, входят различные объекты доступа, при этом взаимодействие между ними имеет приоритетное значение для оперативного удовлетворения потребностей конечных пользователей. Требования к организации предоставления ресурсов меняются постоянно в процессе работы облачных приложений. При этом важным аспектом является автоматизация управления инфраструктурой облачной системы: создание виртуальных машин, реконфигурация хранилищ данных и размещение объектов.
Основным недостатком существующих облачных платформ является слабая организация динамического управления ресурсами, связанная с хранилищем данных [5]. В проведенном нами исследовании разработан подход, основанный на динамическом управлении ресурсами с использованием самоорганизующихся методов.
Анализ научно-информационных источников по проблеме исследования [3, 4, 10, 11, 13-15] показал, что на данный момент отсутствуют эффективные алгоритмические решения по планированию ресурсов облачных платформ, включая виртуальные машины, системы хранения данных, облачные сервисы и проблемно-ориентированные приложения, применяемые в облачных платформах, не используют принципы самоорганизации и недостаточно эффективны относительно масштабируемости и сбалансированности. Это подтверждает новизну решений проведенного исследования.
2. Теоретическая часть. Для более детального описания характеристик основных объектов облачной системы нами реализована структурная модель, описывающая основные элементы виртуального центра обработки данных. Основой структурной модели является программно-конфигурируемые сеть, которая может быть представлена в виде взвешенного ориентированного мультиграфа:
Nodes = {Nodei }г=^ - множество сетевых устройств (узлов / серверов / и т.д.); Links = {Linkj }J=Yjj - множество дуг, представляющих собой сетевое соединение.
Ребра мультиграфа Linksk = {(pki,pkJ)} это двусторонние сетевые соединения между
портами сетевых устройств виртуального ЦОД.
Каждое сетевое устройство характеризуется следующим кортежем:
L - множество дуг, исходящих из вершины; р : Lt ^ Z+ ^ {0} - функция, которая характеризует текущую задержку для каждой дуги; Ci : Li ^ Z {0} - пропускная способность; Mi : Lt ^ Z + ^{0} - максимальная пропускная способность; T е{host, switch} - тип устройства.
Структурная модель виртуального ЦОД может быть определена как направленный мультиграф:
NVDC = (Nodes, Links),
(1)
Nodei = (L, Pi, Ci ,Mi ,Ti)
(2)
VDC = (Seg, Connect (t)),
(3)
где вершины графа Seg = {Segr,Seg2,...,Segs} - множество разделенных сегментов (автономных систем), образованных в процессе работы облачных приложений для эффективной изоляции потоков данных и оптимального использования физических ресурсов
центра обработки данных; дуги графа Connect (t) = {(Segi, Segt)} - направленная связь между сегментами через программно-конфигурируемую сеть.
Каждый сегмент Segk е Seg распределенной программно-конфигурируемой инфраструктуры может быть описан в виде взвешенного неориентированного мультиграфа:
Segk = (Devicesk, Links Vk, Flows k (t)), (4)
где узлами графа являются устройства Devicesk = {Deviceskд,...,Deviceskn}, входящие в состав выбранного сегмента Segk сетевой топологии виртуального ЦОД; LinksV = {LinksV i,--, LinksVk n} - временные виртуальные сетевые соединения, образуемые на время взаимодействия устройств в процессе выполнения задачи; Flowsk (t) - потоки данных облачных приложений, перемещаемые в момент времени t в пределах образованного сегмента Segk между устройствами виртуального ЦОД.
Вычислительные узлы Nodeh е Nodesк в современном понимании могут иметь различные назначения в инфраструктуре ЦОД. Опишем основные виды узлов как объединение множеств:
Nodeki = VMki ^ Controlы ^ GWM ^ ^ StgM (5)
где VMk = {VMkl,VMk2,..,VMkz} - виртуальные машины, предназначены для запуска
приложений и сервисов;
Ck = {Ск1,Cfc2,...,Cfe } - контролеры OpenFlow, позволяют осуществлять
мониторинг и динамическую реконфигурацию топологии сети ЦОД;
GWk = {GWkl,OWk2,...,GWfay } - шлюзы, являются входной точкой между сегментами
сети и глобальными сетями;
Вк = {Вк1, Вк2,..., Вщ } - балансиры OpenFlow, отвечают за распределение нагрузки по
все виртуальной сети ЦОД;
Stgk = {Stgk1,Stgk2,...,Stgk^} - хранилища данных (NAS/SAN), применяются для
распределенного хранения образов виртуальных машин и информации различной структуры, необходимой для работы сервисов и приложений.
Каждый вычислительный узел Nodeki е Nodesk имеет следующие параметры и динамические характеристики:
Nodeki = Mi, Dki, Coreki, Ski, (t), dkl (t), s^f (t)) (6)
где Mki е N и Dki е N - соответственно размер оперативной памяти (Мб) и емкость диска (Мб); Core^ е N - число вычислительных ядер; Sk¡ е R+ - производительность ядер; mki(t) е [0,1] и dki(t) е [0,1] - время отклика; skfe(t) е {"online","offline"} - состояние узла.
На каждом узле есть очередь задач Qj (t) = {Qj (t)}. Она используется для
обеспечения качества обслуживания в соответствии с минимальной гарантированной пропускной способностью и максимальной задержкой для данного сегмента сети.
Qj (t ) = (MinBj (t ), MaxDj (t)), (7)
где MinBj (t) e N ^{0} and MaxDj (t ) e N ^{0} представляют собой
соответственно минимальную пропускную способность и максимальную задержку для соответствующей очереди порта (в мс), которые были созданы для обеспечения механизма QoS.
Предлагаемый подход. Ранее нами рассматривались решения для облачных хранилищ данных, обеспечивающих миграцию данных, а также алгоритмы размещения данных на устройствах [7, 8]. Учитывая новую парадигму программно-управляемых хранилищ, предлагаемые концепции требуют доработки в части определения типов размещаемых данных относительно их структуры. В ходе исследования нами проведена классификация данных, размещаемых на устройствах в сетевой среде. На основе матрицы соответствий нами построен алгоритм, позволяющий определять структурированность получаемых данных для определения конечного способа размещения (СХД/SQL/NOSql), вида физического устройства (HDD или SSD), так же непосредственный выбор самого оптимального устройства. Таким образом, размещаемые в хранилище данные можно представить в виде структуры:
Data = (TypeS, TypeD, RDisk ), (8)
где TypeS - способ размещения; TypeD - вид физического устройства; RDisk -физическое устройство хранения.
В ходе исследования установлено, что размещение данных на физических устройствах имеет ряд ограничений, влияющих как на производительность операции по чтению/записи данных, так и на процесс оптимизации расположения данных на устройствах. Для нейтрализации установленного ограничения предлагается применять программно-управляемые хранилища данных. Данный вид хранилища можно представить в виде следующей структуры:
SoftStg = (Vm, Lan, Stype, Dtype, RDisk (t), Vdisk ), (9)
где Vm - виртуальная машина или сетевой контейнер; Lan - скорость доступа сетевого интерфейса, Stype - поддерживаемый способ размещения данных; Dtype вид физического устройства, на которых будет размещаться виртуальная машина; RDisk(t) конкретное физическое устройство, содержащее виртуальную машину в данный момент времени t; Vdisk - общий объем хранилища данных.
Преимуществом такого размещения данных является возможность миграции хранилища между физическими устройствами. При этом связи и доступность данных со стороны облачной платформы остаются непрерывными, так как соединение осуществляется с виртуальным хранилищем, а не физическим устройством.
Концепция программно-управляемых хранилищ строится так же на принципах самоорганизации на базе абстракций. В настоящем исследовании использована модель
вычислительных ресурсов облачной системы, разработанная ранее. В дополнение к существующим объектам облачной инфраструктуры в модель введены понятия агента и узла управления. Агент представляет собой вычислительный узел облачной системы, который может выступать в роли вычислительного узла Зпоёв, системы хранения данных Sstg, сетевого хранилищ данных Snas. При этом в любой момент времени агент может стать узлом управления. Это возможно благодаря кластеризации вычислительных узлов.
В основу самоорганизации программно-управляемого хранилища данных положена адаптивная модель динамической реконфигурации адаптации к изменениям ресурсов. Это помогает оптимизировать организационную структуру облачной платформы, а именно алгоритмы поиска оптимальных узлов управления, а так же выделение групп управления. Предлагаемая нами модель управления состоит из двух частей: узлов и ресурсов. При формировании программно-управляемых хранилищ на каждом виртуальном вычислительном узле запускается программное обеспечение, отвечающее за обмен техническими данными об устройствах. Обмен данными осуществляется в пределах группы узлов, осуществляющих один способ хранения данных. При этом среди группы узлов выбирается наименее загруженный узел, выступающий в роли узла управления. Такой подход позволяет снизить риск деградации управляющего узла во время работы. Тем не менее, если происходит потеря связи с управляющим узлом, у оставшихся в группе виртуальных машин всегда присутствуют данные друг о друге, что позволяет произвести автоматически выбор нового узла управления и делегировать ему полномочия, что так же снижает риски отказов системы управления. Помимо задачи организации обмена и управления хранилищами своей группы, управляющий узел осуществляет взаимодействие с узлами управления других групп для поддержания актуальной информации о состоянии всей системы в целом. Таким образом, вся система программно-управляемых хранилищ построена по иерархическому сетевому принципу, включающему три базовых уровня:
• оперативный доступ;
• управления в группе;
• обмена данными всей системы в целом.
На базе описанной концепции программно-управляемых хранилищ нами реализован алгоритм размещения данных в программно-управляемых хранилищах.
3. Реализационная часть. Конкурентным преимуществом разработанного алгоритма управления программно-управляемым хранилищем данных по сравнению с имеющимися аналогами является эвристический анализ новых типов данных в процессе загрузки файлов в систему облачной платформы. При этом, благодаря виртуализации хранилища, осуществляется прозрачное для клиента зеркальное дублирование данных на несколько устройств хранения, что обеспечивает увеличение скорости размещения для обеспечения целостности и резервирования данных. Формирование программно-управляемых самоорганизующихся хранилищ данных на базе виртуальных машин и контейнеров позволяет не только снизить риски, связанные с потерей или недоступностью данных, но и обеспечивает интеллектуальный анализ востребованности данных, на базе которого формируются карты размещения виртуальных машин и контейнеров. В основу алгоритма размещения данных в программно-управляемых хранилищах положена модель, позволяющая описать структуру и связи виртуальных устройств, машин и контейнеров с
данными. Модель основана на мультиагентном подходе в организации устройств хранения. Агенты осуществляют сбор данных о состоянии системы. Полученная информация подвергается анализу с применением алгоритмов машинного обучения (Data Mining) [6, 9]. На выходе проведенного анализа получается карта расположения устройств внутри самой облачной платформы с привязкой к физическим устройствам, а также формируется карта востребованности самих данных. Путем анализа двух карт и эвристического алгоритма прогнозирования система управления облаком принимает решение о реконфигурации или перемещении устройств виртуального хранилища, а так же о ротации и перераспределении данных между различными узлами системы. При этом карты размещения являются динамическими объектами, формируемыми не только по мере возникновения событий загрузки или чтения данных, но с заданным интервалом времени. Обобщенная блок-схема работы алгоритма представлена на рисунке 1.
Рис. 1. Обобщенная блок-схема алгоритма размещения данных в программно-управляемых хранилищах облачной системы
За счет эффективного перераспределения потоков данных между запущенными экземплярами виртуальных машин и контейнеров обеспечивается не только должное качество обслуживания, но и компактное расположение устройств.
При работе с сервисами, размещенными в облачной системе, не исключена ситуация, при которой для обслуживания запроса пользователя могут быть задействованы сразу несколько хранилищ данных с различными характеристиками доступа. При работе с такими
данными облачной системе необходимо осуществлять подготовку доступа для оптимизации времени чтения. Для этого разработанный алгоритм размещения данных в программно-управляемых хранилищах в ходе работы строит ряд внутренних правил, тем самым подстраивая под поток запросов пользователей каждый экземпляр хранилища. В результате, план выполнения запросов с одинаковой интенсивностью в разные моменты времени может быть распределен по-разному. Перестроение правил происходит в соответствии с востребованностью ресурсов, что позволяет эффективно управлять распределением и динамической балансировкой нагрузки.
4. Экспериментальная часть. Для оценки эффективности алгоритма размещения данных в программно-управляемых хранилищах, построенного с учетом представленной модели программно-управляемого хранилища данных, нами проведено исследование работы облачной системы, построенной на базе Openstack [12] с различными параметрами. При этом в качестве эталонных данных для сравнения в эксперименте использовались типовые алгоритмы, применяемые в облачных системах, а так же традиционные системы хранения. Для экспериментального исследования создан прототип облачный среды, включающей в себя основные узлы, а так же программные модули для разработанных алгоритмов, модифицирующие обработку запросов пользователей к данным в программно-управляемом хранилище.
В облачной системе OpenStack реализован модуль, применяющий разработанный алгоритм размещения данных в программно-управляемых хранилищах для рационального использования вычислительных ресурсов облачной системы и эффективного распределения виртуальных машин по физическим узлам, а так же связанные с ними данные. В ходе эксперимента для анализа данных создан поток запросов, аналогичный реальному трафику облачной инфраструктуры, основанный на данных лог-записей доступа к определенным видам ресурсов с классификацией по типам данных и структуре запроса. Ретроспектива воспроизводимых запросов составила 3 года, при этом для нагрузочного эксперимента применялись усредненные данные. Полученные данные распределены на пуле виртуальных машин по следующим критериям: тип клиента, осуществившего обращение к данным; тип сервиса, востребованного при подключении. При этом количество одновременных запросов, поступивших в систему, составило 100000, что соответствует максимальному числу потенциальных пользователей системы.
Все сформированные запросы воспроизводились последовательно на трех экспериментальных площадках. Данное ограничение введено в связи необходимостью сопоставления результатов с физическими системами хранения данных, не способных к реконфигурации. Основным отличием экспериментальных площадок является использование твердотельных накопителей.
Помимо площадок для анализа эффективности, сформированы 3 группы экспериментов, направленных на интенсивное выполнение операции по чтению (эксперимент 1), записи (эксперимент 2) и одновременных операциях чтения и записи данных (эксперимент 3) (рис. 2-4).
Рис. 2. Чтение данных
Рис. 3. Запись данных
Рис. 4. Чтение и запись данных
Время эксперимента составило один час, что соответствует наиболее длительному периоду времени пиковой нагрузки системы, зафиксированному в реальном трафике. Проведя анализ данных экспериментальных исследований, авторы доказали, что программно-управляемые хранилища более эффективны, независимо от типа физических устройств.
Полученные данные подтверждают целесообразность применения разработанного алгоритма и программно-управляемых хранилищ данных для предоставления эффективного к сервисам облачных систем. По результатам проведенных экспериментов можно сделать вывод о снижении на 20-25% количества отказов в обслуживании при размещении данных в программно-управляемых хранилищах данных.
Кроме того, за счет оптимального выделения ресурсов на каждом вычислительном узле гарантировано обеспечение совместной работы всех запущенных экземпляров приложений, что удовлетворяет требованиям потенциальных пользователей. При этом благодаря работе алгоритма размещения данных в программно-управляемых хранилищах возможно высвобождение от 20 до 30% выделенных ресурсов вычислительных узлов. Таким образом, предложенный алгоритм может использоваться для произвольных архитектур вычислительных систем, в том числе с неоднородной конфигурацией физических узлов и виртуальных машин.
5. Заключение. Таким образом, оценивая общий результат работы алгоритма размещения данных в программно-управляемых хранилищах, можно получить прирост производительности от 20 до 25% по сравнению с физическими системами хранения и виртуальными машинами, используемыми в качестве системы хранения данных, что
является весьма эффективным при большой интенсивности запросов. Кроме того, сокращение числа выделенных виртуальных ресурсов позволяет более эффективно масштабировать облачную систему и обеспечить запас надежности при резком увеличении интенсивности использования выделенных приложений.
Работа выполнена при поддержке РФФИ (научные проекты № 16-37-60086 мол_а_дк и № 16-07-01004).
СПИСОК ЛИТЕРАТУРЫ
1. Бойченко И.В., Корытников С.В. Управление ресурсами в сервис-ориентированных системах типа «приложение как сервис» // Доклады Томского государственного университета систем управления и радиоэлектроники. 2010. №1-2. С. 156-160.
2. Бухановский А.В., Васильев В.Н., Виноградов В.Н., Смирнов Д.Ю., Сухоруков С.А., Яппаров Т.Г. CLAVIRE: перспективная технология облачных вычислений второго поколения // Известия вузов. Приборостроение. 2011. №10. С. 7-14.
3. Грибова В.В., Клещев А.С., Крылов Д.А., Москаленко Ф.М., Тимченко В.А., Шалфеева Е.А. Базовая технология разработки интеллектуальных сервисов на облачной платформе IACPaaS. Часть 2. Разработка агентов и шаблонов сообщений // Программная инженерия. 2016. №1. С. 14-20. DOI: 10.17587/prin.7.14-20
4. Грибова В.В., Клещев А.С., Москаленко Ф.М. и др. Облачная платформа IACPAAS: текущее состояние и перспективы развития / Информационные и математические технологии в науке и управлении. Иркутск: ИСЭМ СО РАН. - №2, 2016. - С. 94-102.
5. Жуков А.В. Некоторые модели оптимального управления входным потоком заявок в интранет-системах. // Материалы 6-й научно-технической конференции «Новые информационной технологии в ЦБП и энергетике», Петрозаводск, 2004. С. 87-90.
6. Майер-Шенбергер В., Кукьер К. Большие данные. Революция, которая изменит то, как мы живем, работаем, мыслим. - М..: Манн, Иванов и Фербер, 2014. - 240 с.
7. Парфёнов Д.И. Сравнение эффективности алгоритмов динамического распределения данных в облачных хранилищах системы дистанционного обучения // Системы управления и информационные технологии, № 4.1 (50), 2012. - С. 163-168
8. Тарасов В.Н., Полежаев П.Н., Шухман А.Е., Ушаков Ю.А., Коннов А.Л. Математические модели облачного вычислительного центра обработки данных с использованием OpenFlow // Вестник Оренбургского государственного университета. - 2012. - № 9. - C. 150-155.
9. Устименко О.В. Перспективы развития распределённого хранения сверхбольших объёмов данных // Материалы XVIII международной научной конференции объединения молодых ученых и специалистов ОИЯИ (ОМУС), Дубна, 2014. С. 198207.
10. Bocchi E., Drago I.; Mellia M. Personal Cloud Storage Benchmarks and Comparison // IEEE Transactions on Cloud Computing. 2015. Vol. 99. DOI: 10.1109/TCC.2015.2427191
11. Darabseh, A., Al-Ayyoub, M., Jararweh, Y., Benkhelifa, E., Vouk, M., Rindos, A. "SDStorage: A Software Defined Storage Experimental Framework" Proc. of Cloud Engineering (IC2E), Tempe: IEEE Press, 2015. P.341- 346.
12. OpenStack Open Source Cloud Computing Software. Режим доступа: http://www.openstack.org/ (дата обращения 01.12.2015).
13. Plakunov A., Kostenko V. "Data center resource mapping algorithm based on the ant colony optimization" Proc. of Science and Technology Conference (Modern Networking Technologies) (MoNeTeC), Moscow: IEEE Press, 2014. P.1- 6.
14. Singh A., Korupolu M., Mohapatra D. "Server-storage virtualization: integration and load balancing in Data Centers" Proc. of the 2008 ACM/IEEE Conf. on Supercomputing. Austin: IEEE Press, 2008. P.1- 12.
15. Wu X., Kumar V., Ross J., et. c. Top 10 algorithms in data mining // Journal Knowledge and Information Systems DOI 10.1007/s10115-007-0114-2
16. Wuhib F., Stadler, R., Lindgren H. Dynamic resource allocation with management objectives - Implementation for an OpenStack cloud // Network and service management, 2012 8th international conference and 2012 workshop on systems virtualization management, 2012. - C. 309-315.
UDK 519.687
MODELING OBJECTS OF THE VIRTUAL DATA CENTER
Irina P. Bolodurina
Dr., Professor, Head. Department of Applied mathematics Orenburg State University Pobedy avenue, 13, 460018, Orenburg, Russia, e-mail: prmat@mail.osu.ru
Denis I. Parfenov
PhD, Faculty of Distance Learning Technologies Orenburg State University Pobedy avenue, 13, 460018, Orenburg, Russia, e-mail: fdot it@mail.osu.ru
Abstract. For efficient access to large data sets (BigData) is necessary to ensure a minimal of response time. For achieve this requires the development of models and algorithmic solutions for optimize the placement of key resources: virtual machines, information and applications in cloud storage systems.
Keywords: cloud computing, virtual data centers, software-controlled storage devices
References
1. Boychenko I.V., Korytnikov S.V. Upravlenie resursami v servis-orientirovannyh sistemah tipa «prilozhenie kak servis» [Resource management in service-oriented systems of the type "application as a service"] // Doklady Tomskogo gosudarstvennogo universiteta sistem upravlenija i radiojelektroniki = Reports of the Tomsk State University of Control Systems and Radio Electronics, Vol. 1-2, 2010. - Pp. 156-160 (in Russian).
2. Buhanovskij A.V., Vasil'ev V.N., Vinogradov V.N., Smirnov D.Ju., Suhorukov S.A., Japparov T.G. CLAVIRE: perspektivnaja tehnologija oblachnyh vychislenij vtorogo pokolenija [CLAVIRE: promising technology of cloud computing second generation] // Izvestija vuzov. Priborostroenie = Scientific and Technical Journal «Priborostroenie». Vol. 10, 2011. Pp. 7-14 (in Russian).
3. Gribova V.V., Kleshchev A.S., Krylov D.A., Moskalenko F.M., Timchenko V.A., Shalfeeva E.A. Bazovaja tehnologija razrabotki intellektual'nyh servisov na oblachnoj platforme IACPaaS. Chast' 2. Razrabotka agentov i shablonov soobshhenij [Basic technology of development of intellectual services on the cloudy IACPaaS platform. Part 2. Development of the agents and message templates] / Programmnaja inzhenerija = Program engineering. 2016. № 1. Pp. 14-20. DOI: 10.17587/prin.7.14-20 (in Russian).
4. Gribova V.V., Kleshchev A.S., Krylov D.A., Moskalenko F.M. Oblachnaja platforma IACPAAS: tekushhee sostojanie i perspektivy razvitija [IACPAAS cloud platform: current state and evolution trends] / Informacionnye i matematicheskie tehnologii v nauke i upravlenii = Information and mathematical technologies in science and management. Vol. 2, 2016. - Pp. 94-102 (in Russian).
5. Zhukov A.V. Nekotorye modeli optimal'nogo upravlenija vhodnym potokom zajavok v intranet-sistemah [Some models of optimal control input flow applications in intranet systems.] // Materialy 6-j nauchno-tehnicheskoj konferencii «Novye informacionnoj tehnologii v CBP i jenergetike» = Proceedings of the 6-th scientific-technical conference "New information technologies in the pulp and paper industry and the energy sector."-Petrozavodsk, 2004. - Pp. 87-90 (in Russian)
6. Majer-Shenberger V., Kuk'er K. Bol'shie dannye. Revoljucija, kotoraja izmenit to, kak my zhivem, rabotaem, myslim [Big data. A revolution that will change the way we live, work, thoughts]. - M..: Mann, Ivanov i Ferber, 2014. - P. 240 (in Russian).
7. Parfenov D.I. Sravnenie jeffektivnosti algoritmov dinamicheskogo raspredelenija dannyh v oblachnyh hranilishhah sistemy distancionnogo obuchenija [Comparison of the effectiveness of the dynamic data distribution algorithms in the cloud storage system of distance education]// Sistemy upravlenija i informacionnye tehnologii = Control systems and information technologies, № 4.1 (50), 2012. - Pp. 163-168 (in Russian).
8. Tarasov V.N., Polezhaev P.N., Shuhman A.E., Ushakov Ju.A., Konnov A.L. Matematicheskie modeli oblachnogo vychislitel'nogo centra obrabotki dannyh s ispol'zovaniem OpenFlow [Mathematical models of cloud computing datacenter based on openflow] // Vestnik Orenburgskogo gosudarstvennogo universiteta = Vestnik of the Orenburg State University. - 2012. - № 9. - Pp. 150-155 (in Russian).
9. Ustimenko O.V. Perspektivy razvitija raspredeljonnogo hranenija sverhbol'shih ob#jomov dannyh [Prospects for the development of distributed storage of ultra-large data volumes] // Materialy XVIII mezhdunarodnoj nauchnoj konferencii ob#edinenija molodyh uchenyh i specialistov OIJaI (OMUS) = Materials of the XVIII International scientific conference of Association of Young Scientists and Specialists (AYSS), 2014. Pp. 198-207 (in Russian).
10. Bocchi E., Drago I.; Mellia M. Personal Cloud Storage Benchmarks and Comparison // IEEE Transactions on Cloud Computing. 2015. Vol. 99. DOI: 10.1109/TCC.2015.2427191
11. Darabseh, A., Al-Ayyoub, M., Jararweh, Y., Benkhelifa, E., Vouk, M., Rindos, A. "SDStorage: A Software Defined Storage Experimental Framework" Proc. of Cloud Engineering (IC2E), Tempe: IEEE Press, 2015. P.341- 346.
12. OpenStack Open Source Cloud Computing Software. Режим доступа: http://www.openstack.org/ (дата обращения 01.12.2015).
13. Plakunov A., Kostenko V. "Data center resource mapping algorithm based on the ant colony optimization" Proc. of Science and Technology Conference (Modern Networking Technologies) (MoNeTeC), Moscow: IEEE Press, 2014. P.1- 6.
14. Singh A., Korupolu M., Mohapatra D. "Server-storage virtualization: integration and load balancing in Data Centers" Proc. of the 2008 ACM/IEEE Conf. on Supercomputing. Austin: IEEE Press, 2008. P.1- 12.
15. Wu X., Kumar V., Ross J., et. c. Top 10 algorithms in data mining // Journal Knowledge and Information Systems DOI 10.1007/s10115-007-0114-2
16. Wuhib F., Stadler, R., Lindgren H. Dynamic resource allocation with management objectives - Implementation for an OpenStack cloud // Network and service management, 2012 8th international conference and 2012 workshop on systems virtualization management, 2012. - C. 309-315.
