Анализ дисбаланса распределенной системы при самоподобной нагрузке Текст научной статьи по специальности «Компьютерные и информационные науки»

УДК 004.75

Л.О. КИРИЧЕНКО, И.Н. ИВАНИСЕНКО, ТА. РАДИВИЛОВА

Харьковский национальный университет радиоэлектроники

АНАЛИЗ ДИСБАЛАНСА РАСПРЕДЕЛЕННОЙ СИСТЕМЫ ПРИ САМОПОДОБНОЙ НАГРУЗКЕ

В работе предложен метод балансировки нагрузки с учетом оценивания загрузки узлов распределенной системы, который основан на расчете дисбаланса системы, при входных потоках данных, обладающих мультифрактальными свойствами. Проведено имитационное моделирование предложенного метода при работе различных алгоритмов балансировки, которое показало, что мультифрактальные характеристики трафика существенно влияют на дисбаланс системы. Использование предложенного метода позволяет распределять запросы по серверам так, чтобы отклонение загруженности серверов от среднего значения было минимальным, что позволяет получить более высокие показатели производительности системы и более быструю обработку потоков.

Ключевые слова: балансировка нагрузки, мультифрактальный поток, дисбаланс, оценка загрузки, распределенная система, самоподобие.

Л.О.К1Р1ЧЕНКО, 1.М. 1ВАН1СЕНКО, Т.А. РАД1ВШОВА

Харювський нацюнальний ушверситет радюелектрошки

АНАЛ1З ДИСБАЛАНСУ РОЗПОД1ЛЕНО1 СИСТЕМИ ПРИ САМОПОД1БНОМУ НАВАНТАЖЕНН1

У роботi запропоновано метод балансування навантаження з урахуванням оцiнювання завантаження вузлiв розподшеног системи, який засновано на розрахунку дисбалансу системи, при вхiдних потоках даних, що володiють мультифрактальними властивостями. Проведено iмiтацiйне моделювання запропонованого методу при роботi р1зних алгоритмiв балансування, яке показало, що мультифрактальт характеристики трафку ктотно впливають на дисбаланс системи. Використання запропонованого методу дозволяе розподшяти запити по серверам так, щоб вiдхилення завантаженостi серверiв вiд середнього значення було мiнiмальним, що дозволяе отримати бшьш висок показники продуктивностi системи i швидшу обробку потоюв.

Ключовi слова: балансування навантаження, мультифрактальний потк дисбаланс, оцтка завантаження, розподшена система, самоподоба.

L. KIRICHENKO, I. IVANISENKO, T. RADIVILOVA

Kharkiv National University of Radio Electronics

ANALYSIS OF IMBALANCE OF DISTRIBUTED SYSTEM WITH A SELF-SIMILAR LOAD

In this paper a load balancing method based on estimating the load of distributed system nodes proposed, which is based on the calculation of the system imbalance, when the input data stream having multifractal properties. The simulation of the proposed method by using different load balancing algorithms conducted, its showed that characteristics of multifractal traffic significantly affect on the system imbalance. Using of proposed method allows to distribute requests across the servers so that the deviation of the load servers from the average value was minimal, which allows to get higher system performance metrics and faster processing flows.

Keywords: load balancing, multifractal flow, imbalance, imbalance, distributed system, self-similarity.

Постановка проблемы

В настоящее время вместе с увеличением скоростей передачи данных в телекоммуникациях увеличивается доля интерактивного трафика, крайне чувствительного к параметрам среды транспортировки. Для предоставления требуемого количества ресурсов при передаче различных видов трафика, предъявляющих различные требования к характеристикам телекоммуникационной сети используются различные механизмы обеспечения QoS (Quality of service). Одним из таких механизмов является балансировка нагрузки [1-3]. Система балансировки нагрузки решает задачи обеспечения качества обслуживания и повышения производительности распределенных систем за счет оптимального распределения заданий между узлами вычислительной системы.

Задача балансировки загрузки состоит в том, чтобы исходя из комплекта задач, включающих вычисления и передачу данных, и системы серверов различной ресурсоемкости, найти такое распределение задач по серверам, которое обеспечивает примерно равную вычислительную загрузку каждого сервера и минимальные затраты на передачу данных. Для выполнения этой задачи могут использоваться различные алгоритмы балансировки нагрузки, которые учитывают оценки загрузки вычислительного узла.

Анализ последних исследований и публикаций

Наиболее известными исследованиями в области балансировки, теоретических исследований и разработки фундаментальных основ распределения нагрузки, в создании математического аппарата, моделей и методов управления для распределения нагрузки в распределенных системах занимались такие ученые как Е.И. Игнатенко [3], В.Н. Тарасов [4], F. Wang [5], V. Cardellini [6], S.Keshav [7], Xing-Guo Luo, Xing-Ming Zhang [8], Hisao Kameda, Lie Li [9], а также другие исследователи, работающие над проблемами распределения нагрузки.

Многочисленные исследования процессов в информационных сетях показали, что реализации сетевого трафика обладают свойством масштабной инвариантности (самоподобием). Самоподобный трафик имеет особую структуру, сохраняющуюся на многих масштабах - в реализации всегда присутствует некоторое количество очень больших выбросов при относительно небольшом среднем уровне трафика. Эти выбросы вызывают значительные задержки и потери пакетов, даже когда суммарная потребность всех потоков далека от максимально допустимых значений. Исследованиями свойств самоподобного трафика в телекоммуникационных сетях занимались такие ученые как W.E. Leland, M.S. Taqqu, W. Willinger, D.V. Wilson, А.В. Лемешко [10], В.В. Турупалов, Е.Г. Игнатенко [3] и другие.

Самоподобные свойства обнаружены в локальных и глобальных сетях, в частности в трафиках Ethernet, ATM, приложений TCP, IP, VoIP и видеопотоках. Причина такого эффекта заключается в особенностях распределения файлов по серверам, их размерах, в типичном поведении пользователей. Оказалось, что изначально не проявляющие свойств самоподобия потоки данных, пройдя обработку на узловых серверах и активных сетевых элементах, начинают подавать ярко выраженные признаки самоподобия. Наличие у передаваемых клиентами информационных потоков свойств самоподобия оказывает большое влияние на эффективность работы распределенных систем. Особенно важную роль это играет для работы сервисов, обеспечивающих передачу мультимедийного трафика и трафика реального времени. Таким образом, актуальной является задача разработки и анализа алгоритма балансировки нагрузки, который учитывает самоподобие трафика и загрузку каждого узла и всей распределенной системы.

Цель работы

Целью данной работы является разработка метода балансировки нагрузки при самоподобном входном потоке с учетом загрузки узлов распределенной системы и анализ результатов имитационного моделирования при работе предложенного метода для различных алгоритмов балансировки.

Основная часть

Для получения информации о текущем состоянии вычислительного узла выделяют два подхода: внешний мониторинг состояния вычислительных узлов распределенной системы и внутренний мониторинг.

Внешний мониторинг системы балансировки нагрузки.

Система балансировки централизованно собирает данные о состоянии всех вычислительных узлов распределенной системы. Существует несколько методов внешнего мониторинга.

1. Метод расчета системой балансировки нагрузки времени отклика вычислительного узла, для чего она направляет на узел служебный запрос и замеряет время ответа (например, используя протокол управления сообщениями Internet Control Меssage Ргоtосоl - ICMP). Данный метод позволяет системе убедиться в готовности вычислительного узла и определить количество времени, необходимое для передачи данных на вычислительный узел от системы балансировки нагрузки и обратно. Однако задержка в получении ответа может не зависеть от загрузки вычислительного узла. Здесь задержки может вносить среда передачи данных. Если нагрузка на сеть в распределенной системе неравномерна, то данные о загрузке узлов, основанные на времени ответа узла, могут быть сильно искажены.

2. Метод, основанный на отправке служебных пакетов подконтрольным узлам с целью получения более детальной информации о загрузке вычислительного узла (установление соединения с вычислительным узлом по протоколу ТСР).

3. Метод, позволяющий обеспечивать мониторинг времени отклика и готовности вычислительного узла и приложений, работающих на нем [3]. Время отклика приложения определяется как интервал времени между отправкой запроса на предоставление данных и до момента объявления о готовности к передаче.

Основным преимуществом данного подхода является возможность учитывать производительность вычислительного узла и вводить весовые коэффициенты, которые можно динамически менять в процессе работы системы балансировки, что позволяет более гибко менять нагрузку на вычислительный узел.

Недостатки:

а) данные о загрузке узла выражаются только временем ответа на запрос системы балансировки, которое может быть большим из-за перегрузок в сети, а не загрузки самого узла;

б) отсутствие данных о состоянии процессора, памяти, системы ввода/выводы и т.д.

Внутренний мониторинг системы балансировки нагрузки.

Используется для получения более детальной информации о состоянии вычислительного узла. При таком подходе на каждый узел распределенной системы помещается программа-агент, которая собирает данные об узле, на котором она находится. Данные от программ-агентов могут передаваться на балансировщик либо после запроса центральной (диспетчерской) части системы балансировки нагрузки,

либо программы-агенты могут самостоятельно передавать сведения о загрузке подконтрольного узла на центральный узел через определенный интервал времени. При данном подходе существует проблема определения частоты передачи обработанной информации на балансировщик. Первый метод позволяет по запросу центрального узла получать данные от всех узлов в тот момент, когда необходимо поставить новый запрос клиента в очередь на исполнение. Второй метод позволяет постоянно иметь свежие данные о загрузке вычислительных узлов, но при этом повышается нагрузка на сеть из-за постоянной передачи служебных данных.

Основным недостатком данного подхода является использование служебными программами-агентами определенного количества ресурсов узла. Объем требуемых ресурсов узла программами-агентами зависит от того, по скольким параметрам идет оценка загруженности вычислительного узла [3, 4], идет ли обработка этих данных на самом узле или они передаются на центральную машину системы балансировки нагрузки. Поэтому при разработке системы балансировки нагрузки важным вопросом является определение критериев загрузки вычислительного узла. Потребуется большее количество ресурсов узла для обработки информации о загрузке компонентов (процессор, память) узла. Однако, оценка загрузки только одного компонента не дает объективных данных о состоянии всего узла. Поэтому в работе предложены критерии, учитывающие в совокупности несколько ресурсов узла.

Система балансировки состоит из активного балансировщика, резервного балансировщика и группы серверов [3, 11, 12, 13].

Критерии оценки загрузки распределенной системы.

1. Средняя загрузка каждого u -го процессора CPUu (T) i -го сервера определяется как средняя загрузка процессора в течение наблюдаемого периода Т . Например, если период наблюдений составляет 1 мин., а загрузка процессора записывается через каждые 10 секунд, то есть CPUu это среднее значение из шести записанных значений i -го сервера.

Аналогично определяется средняя загрузка каждой r -й памяти RAMr (T) i -го сервера и средняя загрузка к -го канала Netk (T) i -го сервера в течение наблюдаемого периода.

2. Введем средний коэффициент использования всех процессоров в системе. Пусть CPUn средняя загрузка ЦПУ i -го сервера,

л„ УNcpuucpun

jAll _ ¿—ч 1 l

CPU*" = l '-—, (1)

u У Ncpun

где N - общее число физических серверов в системе, п^ - количество ЦПУ на 1 -м сервере.

Аналогичным образом, средний коэффициент использования памяти ЯЛЫ1 1 , пропускной способности

линии связи 1 -го

может быть определена.

линии связи 1 -го сервера, вся память ЯЛЫЛ , и вся пропускная способность сети в системе

All YNRAMrRAMmi

fAll_ ¿—ii _»_ l

1N л ,, m

RAM™ =^-—--—, (2)

yNRAMm

л,, У N Netf Netk

N"A = ljNe<t' (3)

3. Значение дисбаланса всех процессоров. Используя формулу дисперсии, значение дисбаланса всех процессоров в системе определяется как

ISLcpu =УN(CPUf -CPUf )2 , (4)

Точно так же могут быть рассчитаны значения дисбаланса памяти и пропускной способности сети.

ISLRAM = У N (RAMГ1 - RAMf )2 , (5)

ISLNet =У N (Netf - Netf )2 , (6)

4. Введем комплексное значение дисбаланса нагрузки SIL, i -го сервера, учитывающее все три ресурса сервера. Используя формулу расчета дисперсии как меры неравномерности, интегрированное значение дисбаланса нагрузки i -го сервера можем определить как:

Б1Ц = а(СРи? - СРиА )2 + Ь(ЯАМ1 - ВАМ, )2 + с(ЫеГ- - ЫеА Г, (7)

Параметры а, Ь, с обозначают весовые коэффициенты для процессора, памяти и пропускной способности сети, соответственно, которые выбираются экспериментальным путем таким образом, что а + Ь + с = 1, в зависимости от решаемых задач и структуры системы.

применяется для обозначения уровня дисбаланса нагрузки путем сравнения коэффициентов использования процессора, памяти и пропускной способности сети.

5. Тогда суммарные значения дисбаланса всех серверов в системе записывается как:

= ЫI, (8)

6. Эффективность использования определяется как средняя нагрузка на любом сервере.

Таким образом, для планирования ресурсов была разработана методика комплексного измерения общего уровня дисбаланса системы, а также среднего уровня дисбаланса каждого сервера.

Самоподобные и мультифрактальные свойства трафика. Самоподобие случайных процессов заключается в сохранении статистических характеристик при изменении масштаба времени и характеризуется показателем Херста Н , который является степенью самоподобия. Стохастический процесс

_Н / ч

X (^) является статистически самоподобным, если процесс а X (а1) обладает теми же статистическими характеристиками второго порядка, что и X ). Параметр Н, называемый параметром Херста, представляет собой меру самоподобия стохастического процесса. Моменты самоподобного случайного

= С(д) ■ , где величина С(д) - некоторая детерминированная

процесса можно выразить как M

X (t)

функция. Для мультифрактальных процессов выполняется отношение M

X (t )|'

= c(q) ■ tqh(q), где c(q)

-детерминированная функция; h(q) - обобщенный показатель Херста, являющийся в общем случае нелинейной функций. Значение h(q) при q = 2 совпадает со значением степени самоподобия H [14].

Самоподобный трафик имеет особую структуру, которая сохраняется на многих масштабах - в реализации всегда присутствует некоторое количество очень больших выбросов при относительно небольшом среднем уровне трафика. Мультифрактальный трафик определяется как расширение самоподобного трафика за счет учета масштабируемых свойств статистических характеристик второго и выше порядков.

В работе характеристикой неоднородности мультифрактального потока данных предложено считать диапазон обобщенного показателя Херста Sh = h (qmin) - h (qmax). Для монофрактальных процессов обобщенный показатель Херста не зависит от параметра q и является прямой линией: h(q) = H , Sh = 0. Чем больше неоднородсть процесса, т.е. чем большие выбросы присутствуют в трафике, тем больше диапазон Sh.

Метод балансировки с учетом мультифрактальных свойств трафика. Рассмотрим метод балансировки, который учитывает мультифрактальные свойства трафика. Система балансировки нагрузки состоит из компонентов, представленных на рис. 1. Балансировщик нагрузки имеет веб-интерфейс для отслеживания, настройки и администрирования распределения нагрузки.

Предлагаемый метод балансировки нагрузки основан на использовании комплекса методов внутреннего и внешнего мониторинга. Использование внешнего мониторинга системы позволяет периодически тестировать сеть для определения наиболее загруженных сегментов. Использование внутреннего мониторинга состояния вычислительного узла позволяет получить объективную картину загрузки узла и данные о загрузке отдельных компонентов узла. Критериями загрузки вычислительного узла предлагается считать загрузку процессора, памяти и пропускной способности канала для потоков разных классов обслуживания. Чтобы учитывать потенциальную вычислительную мощность каждого ресурса узла, предлагается использовать весовые коэффициенты. Данный метод учитывает мультифрактальные свойства входящего информационного потока. Использование комплексного подхода при балансировке нагрузки позволит добиться увеличения производительности распределенной вычислительной системы.

Процесс pulse - это управляющий процесс, который на активном балансировщике запускает процесс lvs, а на резервном балансировщике будет отслеживать состояние активного, периодически опрашивая его. Если активный балансировщик не отвечает в течение заданного периода времени, будет инициирован процесс передачи его функций резервному балансировщику. При этом pulse на резервном балансировщике отправляет процессу pulse на активном балансировщике команду остановки всех служб lvs, запускает send arp для присвоения виртуальных IP-адресов MAC-адресу резервного балансировщика и запускает процесс lvs. Процесс send arp рассылает широковещательные пакеты ARP при переходе виртуального IP-адреса от одного узла другому [15].

Процесс lvs запускается на активном балансировщике по вызову pulse. Он вызывает службу ipadm для создания, добавления, изменения и удаления записей в таблице маршрутизации IP. Процесс lvs запускает процесс status для каждой настроенной службы распределения нагрузки. Если status сообщает о том, что реальный сервер отключен, lvs заставит утилиту ipadm удалить этот сервер из таблицы IP. Основным назначением процесса status, работающего на активном балансировщике, является наблюдение за нагрузкой серверов, сбор и анализ статистики о текущем состоянии системы и интенсивности трафика. Процесс status передает обработанную и проанализированную информацию в подсистему балансировки нагрузки процессу infstatus. Процесс infstatus в свою очередь передает информацию о текущем состоянии системы процессу соип_рагсе.

Активный Резервный балансировщик

Рисунок 1. Компоненты системы балансировки нагрузки

Процесс fractal проводит расчет мультифрактальных свойств каждого входящего потока данных и передает эту информацию процессу coun_parce. Процесс algor выбирает алгоритм балансировки нагрузки и также передает эту информацию процессу coun_parce. Процесс coun_parce проводит расчет распределения потоков по узлам сети с учетом классификации трафика, загруженности серверов и каналов связи, дисбаланса серверов и всей системы. Результаты расчета передаются процессу parce, который осуществляет динамическое распределение трафика по различным каналам связи и узлам в зависимости от их текущего состояния. Также результаты расчета процесса coun_parce передаются процессу qos для гибкой настройки обеспечения качества обслуживания в соответствии с методами управления трафиком (управление пропускной способностью каналов и памяти, производительностью процессоров, кеш-памяти), если это необходимо. В случае применения методов управления трафиком процессом qos, информация об изменениях передается процессу infstatus.

Результаты имитационного моделирования. Был разработан программный продукт, который позволяет проводить имитационное моделирование работы системы балансировки нагрузки с помощью различных алгоритмов балансировки, используя предложенный метод. Рассмотрены три основных алгоритма балансировки нагрузки: Round Robin, Round Robin Weight и Compare Balance. Алгоритм Round Robin (кругового обслуживания), представляет собой перебор по круговому циклу: первая задача передаётся одному узлу, затем следующая задача передаётся другому и так до достижения последнего узла, а затем всё начинается сначала. В алгоритме Round Robin Weight каждому узлу присваивается весовой коэффициент в соответствии с его производительностью и мощностью. Это помогает распределять нагрузку более гибко, так как узлы с большим весом обрабатывают больше запросов. Алгоритм Compare Balance используется для достижения равновесного состояния и управления несбалансированной нагрузкой системы. В этом алгоритме балансировщик случайным образом выбирает сервера и сравнивает их нагрузку, после чего отправляет заявку на обработку сервера с меньшей загрузкой.

Для анализа работы алгоритмов балансировки были проведены численные исследования работы системы балансировки при различных значениях нагрузки, количества серверов и параметров мультифрактального трафика. На рис. 2-4 показано изменение дисбаланса процессоров, памяти и пропускной способности каналов (4-6) в случае 2-х серверов, а также комплексное значение дисбаланса нагрузки каждого сервера (7) при работе алгоритма балансировки Compare Balance. Параметры a,b, c, которые обозначают весовые коэффициенты для процессора, памяти и пропускной способности сети, были выбраны равнозначными.

System imbalance representation

2000

1500

Рисунок 2. Дисбаланс системы при параметрах трафика H = 0.6 и Ah = 1.5 .

System imbalance representation

CPU RAM

BANDWITH Complex Load Server 1 Complex Load Server 2

a. 1000

у

CD £ 0) l/l

500

2000

1500

1000

500

Time

Рисунок 3. Дисбаланс системы при параметрах трафика H = 0.9 и Ah = 1.5

В первом случае (рис. 2) на балансировщик поступает сгенерированный трафик с параметром H = 0.6 и диапазоном обобщенного показателя Херста Ah = 1.5. Рис. 2 демонстрирует дисбаланс системы для трафика с более сильной долгосрочной зависимостью (H = 0.9) и той же неоднородностью, что и в первом случае. На рис. 4 представлены результаты моделирования работы балансировщика в случае больших значений как параметра Херста H = 0.9, так и диапазона обобщенного показателя Херста Ah = 2.5 .

Таблица 1

Параметры Round Robin Round Robin Weight Compare Balance

Потерянные данные, % 1,94 1,64 0,98

Среднее время ожидания, мс 4 6 8

Исследования показали, что дисбаланс системы существенно зависит от мультифрактальных характеристик трафика. При небольших значениях Н и небольшой неоднородности система балансировки приходит в равновесное состояние и значение дисбаланса стремится к нулю. При увеличении показателя Херста с течением времени дисбаланс системы не затухает и система балансировки не приходит в равновесное состояние. При больших значениях показателя Херста и большой неоднородности система балансировки находится в неустойчивом состоянии и значение дисбаланса изменяется в несколько раз, что

приводит к максимальной загрузке ресурсов. В табл. 1 приведены значения количества потерянных данных и среднее время ожидания заявок в системе при работе алгоритмов балансировки Round Robin, Round Robin Weight и Compare Balance.

500000

400000

System imbalance representation

> 200000 -

100000

500000

- 400000

200000

100000

120

140

160

180

200

Рисунок 4. Дисбаланс системы при параметрах трафика H = 0.9 и ДА = 2.5

Проведенные исследования показали, что из трех рассмотренных алгоритмов наилучшим является алгоритм Compare Balance. При работе данного алгоритма количество потерянных данных является наименьшим и, соответственно, обеспечивает наилучшее качество обслуживания для чувствительного к потерям трафика. Однако среднее время ожидания заявки в системе является наибольшим у алгоритма Compare Balance, что происходит из-за учета данным алгоритмом состояния серверов.

Выводы

В работе предложен метод балансировки нагрузки с учетом оценивания загрузки узлов распределенной системы. При оценивании загрузки узлов рассчитывается средняя загрузка процессора, памяти и пропускной способности канала на основе загрузки, которая измерена системой учета или монитором операционной системы. Это позволяет вычислить дисбаланс всех серверов системы, среднюю продолжительность работы и эффективность использования ресурсов системы при различных алгоритмах балансировки.

В работе проведено имитационное моделирование предложенного метода и алгоритмов балансировки Round Robin, Round Robin Weight и Compare Balance, которое показало, что наименьшее количество потерянной информации получается при работе динамического алгоритма балансировки, а наименьшее время отклика - при статическом. Результаты моделирования показали, что мультифрактальные характеристики трафика существенно влияют на дисбаланс системы. При небольших значениях показателя Херста и небольшой неоднородности трафика значение дисбаланса стремится к нулю и система балансировки приходит в равновесное состояние. При больших значениях показателя Херста и неоднородности система балансировки постоянно находится в неустойчивом состоянии, что приводит к максимальной загрузке ресурсов. Использование предложенного метода при балансировке нагрузки, с учетом информации о состоянии серверов и всей системы, позволяет балансировщику выделить сервер, который способен наилучшим образом справиться с обработкой пришедшего мультифрактального потока задач.

2. 3.

4.

Список использованной литературы

Чжоу Т. Системы балансировки нагрузки Web-серверов / Тао Чжоу // Журнал «Windows 2000 Magazine».- 2000. - № 03/2000.

Воеводин В.В. Параллельные вычисления / В.В. Воеводин // СПб: БХВ-Петербург. - 2003. Игнатенко Е.И. Адаптивный алгоритм мониторинга загруженности сети кластера в системе балансировки нагрузки / Е.И. Игнатенко, В.И. Бессараб, И.В. Дегтяренко // Науковi пращ ДонНТУ. -2011. - Вип.21(183). - С.95-102.

Тарасов В.Н. Математические модели облачного вычислительного центра обработки данных с использованием Openflow / В.Н. Тарасов, П.Н. Полежаев, А.Е. Шухман, Ю.А. Ушаков, А.Л. Коннов // ВЕСТНИК ОГУ. - 2012. - №9 (145). - С.150-155.

Wang F. User-priority guided min-min scheduling algorithm for load balancing in cloud computing /

F. Wang, H. Chen, N. Helian, G. Akanmu. // National Conference Parallel Computing Technologies (PARCOMPTECH). - 2013. - P.1-8.

6. Cardellini V. Dynamic Load Balancing on Web-server Systems / V. Cardellini, M. Colajanni, P. S. Yu. // IEEE Internet Computing. - 1999. - Vol.3, No.3.- P.28-39.

7. Keshav S. An Engineering Approach to Computer Networking / S.Keshav. // Addison-Wesley, Reading, MA. - 1997. - P. 215-217.

8. Luo Xing-Guo. Job Scheduling Model for Cloud Computing Based on Multi-Objective Genetic Algorithm / Xing-Guo Luo, Jing Liu, Xing-Ming Zhang, Fan Zhang and Bai-Nan Li // IJCSI International Journal of Computer Science. - 2013. - V.10(1), № 3. - P.134-139.

9. Optimal Load Balancing in Distributed Computer Systems / [Hisao Kameda, Lie Li, Chonggun Kim, Yongbing Zhang.]. - Springer, Verlag London Limited., 1997. - 238 p.

10. Лемешко А.В. Усовершенствование потоковой модели многопутевой маршрутизации на основе балансировки нагрузки / А.В. Лемешко, Т.В. Вавенко. // Проблеми телекомушкацш. - №1 (6). - 2012. -С.12 - 29.

11. Shang Zhihao. Design and implementation of server cluster dynamic load balancing based on OpenFlow / Zhihao Shang, Wenbo Chen, Qiang Ma, Bin Wu // Awareness Science and Technology and Ubi-Media Computing (iCAST-UMEDIA). - 2013. - P.691 - 697.

12. Tian Wenhong. Optimized Cloud Resource Management and Scheduling: Theories and Practices. / Wenhong Tian, Yong Zhao. - Morgan Kaufman, 2014. - 284 p.

13. Red Hat Enterprise Linux. Обзор планирования распределения нагрузки [Електронний ресурс] / Red Hat Enterprise Linux - Електронш дат. - [Red Hat Enterprise Linux, 2015]. - Режим доступу: https://access.redhat.com/documentation/ru-

RU/Red_Hat_Enterprise_Linux/6/html/Virtual_Server_Administration/s 1 -lvs-scheduling-VSA.html (дата звернення 13.06.2016 р.). - Назва з екрана.

14. Kantelhardt J.W. Fractal and multifractal time series / J.W. Kantelhardt // Mathematics of complexity and dynamical systems. -2012. - Р.463-487

15. Erl Thomas. Cloud Computing Design Patterns / Thomas Erl, Robert Cope, Amin Naserpour // Prentice Hall, Ed.1st. - 2015. - P.592.