CC BY
160
УДК 519.7
Вестник СПбГУ. Сер. 1. 2013. Вып. 3
ПРИМЕНЕНИЕ ПРОТОКОЛА ЛОКАЛЬНОГО ГОЛОСОВАНИЯ ДЛЯ ДЕЦЕНТРАЛИЗОВАННОЙ БАЛАНСИРОВКИ ЗАГРУЗКИ СЕТИ С ПЕРЕМЕННОЙ ТОПОЛОГИЕЙ И ПОМЕХАМИ В ИЗМЕРЕНИЯХ*
Н. О. Амелина
С.-Петербургский государственный университет,
канд. физ.-мат. наук, мл. науч. сотр., natalia_amelina@mail.ru
1. Введение. В настоящее время распределенные сетевые системы с параллельными вычислениями используются все чаще. Для таких систем важно эффективное решение задачи о распределении пакетов заданий между несколькими узлами. Похожие проблемы возникают в производственных, транспортных, сенсорных и других сетях. Задания могут выполняться тем узлом (агентом), которому они поступили, или перераспределяться между узлами (агентами). Задача балансировки загрузки сети состоит в том, чтобы поддерживать равномерную загрузку у всех узлов сети (агентов) с течением времени. По теме балансировки загрузки сетей в последнее время появляется все большее количество исследовательских статей, что свидетельствует о научной актуальности этой проблемы. В основном эти публикации относятся к области информатики и системного программирования. В них, как правило, не рассматриваются возможные помехи и «разрывы» связей между узлами. В рамках одного компьютера и многих вычислительных ядер это предположение может быть достаточно реалистичными. Но при рассмотрении сетевых систем роль помех и «разрывов» связей возрастает.
Протокол локального голосования типа алгоритма стохастической аппроксимации для сети агентов с переменной топологией и помехами в измерениях при линейной динамике был обоснован в [1]. Алгоритмы типа стохастического градиента использовались в таких задачах и ранее [2-5]. При наличии внешних воздействий и нестационарности агентов (получение новых заданий, изменение производительности и т. п.) алгоритмы стохастической аппроксимации с уменьшающимся размером шага не применимы. В [6-9] исследуется работоспособность алгоритмов стохастической аппроксимации с постоянным размером шага в условиях нестационарных функционалов качества типа среднего риска. Их применимость для балансировки загрузки узлов централизованной вычислительной сети при доступности текущей зашумлен-ной информации о длине очереди и производительности узлов была исследована в [10, 11].
Обобщив результаты предшествующих работ, в [12-17] авторы при разных предположениях рассмотрели сетевые системы для параллельных вычислений, в которые однотипные задания поступают и перераспределяются между различными узлами по протоколу локального голосования с постоянным размером шага. При этом задача о балансировке загрузки была переформулирована в терминах достижения кон-
* Работа выполнена при финансовой поддержке РФФИ (грант № 11-08-01218-а, 13-07-00250-а), ФЦП «Кадры» (госконтракт №16.740.11.0042, 14.740.11.0942), а также при поддержке совместной лаборатории 1^е1-СПбГУ СПРИНТ.
© Н. О. Амелина, 2013
сенсуса в динамической сети. Анализ исследуемой стохастической динамической системы проводился по ДФЛ-схеме (Деревицкий, Фрадков, Льюнг) [18, 20] сведением к соответствующей усредненной непрерывной модели. При этом время достижения приближенного консенсуса определялось «топологией» получающейся усредненной непрерывной модели.
Полученные теоретические результаты были применены для исследования применимости протокола локального голосования для децентрализованной балансировки загрузки сети с переменной топологией, помехами и задержками в измерениях при стационарной постановке задачи, когда все задания поступали в сеть в начальный момент времени [14].
В этой работе исследуется применимость протокола локального голосования для децентрализованной балансировки загрузки сети с переменной топологией и помехами в измерениях при нестационарной постановке задачи.
2. Постановка задачи. Рассмотрим сеть, состоящую из п агентов, которые выполняют параллельно поступающие однотипные задания. Задания поступают в систему в различные дискретные моменты времени г = 0,1,... ,Т на разные узлы. В сети допускается перераспределение заданий между агентами на основе обратных связей.
Пусть г = 1,... ,п — номер агента, N = {1,...,п} — множество агентов сети.
В момент времени г поведение каждого агента г € N описывается двумя характеристиками:
• д1 — длина очереди из атомарных элементарных заданий узла г в момент времени
• р\ — производительность узла г в момент времени г.
Здесь и далее верхний индекс узла г показывает соответствующий номер узла.
При достаточно общих предположениях можно считать, что динамическая модель системы описывается следующими уравнениями:
<Й+1 = <Й -р + 4 + <, г € N г = 0, 1 ,...,Т, (1)
где и\ € К — управляющие воздействия (перераспределенные узлу г в момент времени г задания), которые можно (и нужно) выбрать, —размер нового задания, поступившего на узел г в момент времени г.
Требуется поддерживать равномерную загрузку всех узлов сети.
Будем использовать следующие обозначения и термины из теории графов. Под динамической сетью из п агентов будем понимать набор динамических систем (агентов), взаимодействующих в соответствии с графом информационных связей. Граф (М, Е) определяется набором вершин N и набором дуг Е. Сопоставим каждой дуге (з,г) € Е вес аг'° > 0. Граф может быть представлен матрицей смежности (или связности) А = [а1'1 ] с весами аг'° > 0, если (у, г) € Е, и аг'° =0 в противном случае. Мы будем рассматривать случай, когда аг'г = 0. Для графа, который представлен матрицей смежности А, будем использовать обозначение 0а . Определим взвешенную полустепень захода вершины г как сумму г-й строки матрицы А: ¿г(А) = ^а1'1. Для графа 0а определим диагональную матрицу взвешенных полустепеней захода вершин графа О(А) = diag{dг(A)} из полустепеней захода и лапласиан графа
С(А) = .О (А) — А. Заметим, что суммы по строкам элементов лапласиана равны нулю. Обозначим через ¿тах(А) максимальную полустепень захода графа 0а.
Будем считать, что структура связей динамической сети описывается с помощью последовательности ориентированных графов {(Ж, Е4)|4>о, где Et С Е меняется во времени. Обозначим через А соответствующие матрицы смежности, N = {з : а*'1 > 0} — множество «соседей» узла г € N в момент времени г, Етах = {(з, г) : вир4>о а*'1 > 0} — максимальное множество каналов связи.
Предположим, что выполнено следующие условие:
А1: р* > Рт1п > о, Уг € Ж, г = 0,1,...
Если взять х* = ^/р* в качестве состояния узла г динамической сети в момент времени г = 0,1..., Т, то цель управления —достижение консенсуса в сети — будет соответствовать оптимальному распределению заданий между узлами [14].
При введенных обозначениях уравнения динамики каждого агента можно переписать в следующем виде:
х?+1 = х* + и + /, (2)
где и* = г € N — «нормализованные» управления, / = —1 + ^/р* —возмуще-
ния.
Для поддержки равномерной загрузки всех узлов сети (с целью увеличения общей пропускной способности системы и сокращения времени выполнения заказов) естественно использовать протокол перераспределения заданий с течением времени.
Будем считать, что для формирования управления и\ каждый узел г € N имеет зашумленные данные о своем собственном состоянии
У г = х г + (3)
и, если множество N1 непусто, зашумленные наблюдения о состояниях соседей
у^' = 4 + , з € Щ, (4)
г,г г,7 / \
где , —помехи (шум).
3. Протокол перераспределения заданий. В работах [13, 16] для задачи балансировки загрузки сети были исследованы свойства алгоритма управления, называемого протоколом локального голосования, в котором значение управления для каждого узла определялось взвешенной суммой разностей между информацией о его состоянии и информацией о состоянии его соседей:
иг = 7 Е ^ (у?1' — уг,г), (5)
где 7 > 0 — параметр шага протокола управления, N С Níг, Ь*'1 > 0 Уз € ^У^. Положив Ь*'1 = 0 для всех остальных пар (г,з), определим матрицы Вг = [Ь*1 ].
Отметим, что этот протокол отличается от часто встречающихся других, когда параметр шага протокола управления 7 выбирается разным для разных г (например, 7г = 1/^(В4), см. [19]).
Динамика замкнутой системы с протоколом (5) имеет вид
х*+1=х*+7 е ь*'1 (у'1 — уг,г)+/г, г € N. (6)
зеЩ
Запишем выражение (6) в векторно-матричном виде:
хт = Х] - 7£(Вг)*г + 7wí + Ъ; (7)
здесь используются обозначения х4, wí и fí для векторов, составленных из соответ-
1 п 1 1,7/" 1,1 17 1п,7{ п,п п,7\
ствующих элементов х4,. .., х4 , (^ - ^^),. .., ^д™. Ъ4 ' - ^ ),
и /!,...,/г-
4. Предположения о стохастических свойствах. Пусть (П, Т, Р) —основное вероятностное пространство, и выполнены следующие условия:
А2: а) Для всех г € Ж, € Ж] и {г} помехи наблюдений т]7 —центрированные, независимые одинаково распределенные случайные величины с ограниченными дисперсиями: )2 < -
Здесь и далее Е — символ математического ожидания.
б) Для всех г € Ж, ] € Жтах появление «переменных» дуг (_?', г) в графе — независимые случайные события (т.е. матрицы А —независимые одинаково распределенные случайные матрицы). Для всех г € Ж, € N веса Ъ]'j в протоколе управления — независимые случайные величины с математическим ожиданиями ЕЪ]'7 = Ъг'7 и ограниченными дисперсиями Е(Ъ]7 — Ъг'7)2 < а2.
в) Для всех г € Ж, £ = 0,1,... величины / в (2) —случайные, независимые и одинаково распределенные с математическим ожиданием Е/ = / и дисперсией
Е(/ - /)2 = а2.
Кроме того, все эти случайные величины не зависимы между собой. А3: Граф Ялгаах, определяемый матрицей смежности Атах с элементами
7 = Ъ^, г,^ € Ж, имеет остовное дерево и а^7ах > 0 для любой дуги (_?', г) € Етах. А4: Параметр шага протокола управления 7 > 0 удовлетворяет условиям
7 ^ а (А ) (8)
^тах (Атах )
и
Лтах(д)7 < Дб(Л2(Атах)), (9)
где Де(Л2(Атах)) —вещественная часть второго по абсолютной величине собственного числа матрицы Атах, а Лтах—максимальное собственное число матрицы
Q = Е(£(Атах) - ОД))Т (^(Атах) - ОД)).
Заметим, что в силу определения и свойств А2б выполняется £(Атах) = Е£(В). Кроме того, 0 < И.е(Л2(Атах)) < 1 при выполнении условия А3 (см. [ 12]).
5. Основной результат. Определение: п узлов достигают асимптотического
среднеквадратичного е-консенсуса, если Е||х0||2 < то, г € Ж, и существует такая
последовательность что Ит^оо ЕЦа^ — а^Ц2 < е для всех г £ N. Здесь и далее
|| • || —евклидова норма вектора.
Пусть хд — среднее значение начальных данных
* _ 1 Хг, — / X.
о-.Е^о
г=1
и {хд} —траектория усредненной системы
хд+1 = хд + /, (10)
где / — среднее значение из условия А2в.
Теорема 1. Если выполнены условия А1—А4, тогда для траекторий систем (7) и (10) выполняется оценка
Е||хт - х*+11\\2 + ^||хо - х*01\\2 - ^ , (И)
где 1 — вектор из единиц,
р = 7Ке(Л2(Атах)) — 72АтаХ(д), А = 2а272 I п2<Ть + )2 I + ,
\ г=11=1 )
т. е. при Е||х0||2 < те, г € N, в системе (7) достигается асимптотического среднеквадратичного £-консенсуса при
_ Д Р '
Доказательство. Для разниц траекторий систем (7) и
Сд+1
в силу определений имеем
хд+11 = хд1 + /1 (12)
А+1 = х*+1 — хд+11 = х* —7 (£(В*)х* +wt)+ft —х£1—/1 = А—7 (¿(ВОА+wt)+ft—/1,
так как вектор 1 является собственным вектором матрицы-лапласиана £(В4), соответствующим нулевому собственному значению: £(В4)1 = 0. Далее, добавив и вычтя тах )А, получим
А+1 = (I — 7 ^(Атах )) А + 7 (^(Атах — £(В* ))А + 7WÍ + fí — /1,
где I единичная матрица соответствующей размерности.
Пусть ^ — а-алгебра вероятностных событий, порожденная случайными элементами х0, ^О'1 ,...,Ц-1 ,/0,/1, ...,/-1,Ь0'1 ,Ь1'1,..., Ь*'1, г,з € N, Ао,..., А*; рассмотрим условное математическое ожидание от квадрата нормы А+1:
Е^ ||А+1||2 = 11 (I — 7£(Атах))А||2 +2^7(7 — 7^(Атах))Т(7(^(Атах )А — £(В4))Я4 +
+2Я?(/ — 7£(В*))Т (7Е^wí + Е^(ft — /1)) + 27Е^wtT(fí — /1)+
+7 2^Т(£(Атах ) — £(В4 ))Т (£(Атах ) — £(В4 )) + 7 ^ ||wí||2 + Е^ || — /11|2 . (13)
В силу выполнения условия А2в и независимости ^ от ст-алгебры Т имеем
Е^& - /1) = Е& - /1) = 0, Еъ\\Ъ - /1||2 = Е||Ь - /1||2 = пст2. (14)
В силу выполнения условия А2а и независимости ш\'0, г, ] € N от ^, ст-алгебры Т и между собой получаем
Еъ Е ^ 0 (-Г - ) = Е ^Е(-' - -¿'0) = 0, (15)
Еъ Е ^ 0(< - -¿'0)№ - /1) = Е ъг:°Е(< - )Е(?с - /1) = 0 (16)
0ем1 оем1
Еъ ( Е ъг 0(-' г - -0) I = £ (ъг 0)2(Е(- ' г)2 + Е(- 0)2) = 2ст2 Е (ъг0)2. (17)
\jeNi ) оещ оещ
Учитывая полученные соотношения (14)-(17) и обозначив через Ьг вектор, составленный из компонент ^о^1 (Ъ1'0)2, • • •, (Ъп'0)2, из (13) выводим
Еъ 1112 = 11 (I-7£(Атах))^41|2 + 2ДТ(/-7 £(Атах ))Т (7 (£(Атах )А-£(В))А+ + 72^Т (£(Атах) - ¿(В))Т (£(Атах) - ¿(В)) + 2ст^72Ь4 + ПСТ2 .
Пусть Т — ст-алгебра вероятностных событий, реализовавшихся до момента
л "7 ¿0 ¿0 ¿0 £1
времени I, порожденная всеми случайными элементами Жд,и>0 , ,...,—_ 1,/0, /1,..., 1, Ъ0'0, Ъ1°,..., Ъг'° 1, г, € N, Ао,..., рассмотрим условные математи-
ческие ожидания от обеих частей последнего соотношения. В силу стохастических свойств неопределенностей А2б и независимости Вг и Ьг от ст-алгебры Т получаем
Е^ | 11|2 = 11 (I - 7 ¿(Атах ))А||2 + 72ДТЗА + 2ст^ 72Е^ Ь + пст2 <
П П
< (1 - 7Де(А2(Атах)) + 72Атах(д))||^ 41|2 + 2ст1 7 V ст2 + ЕЕ(Ъ7'0 )2) + пст2 =
¿=1 0=1
п п
= (1 - Р)||А ||2 +2ст22 7 2(п2ст2 ^ЕЕ(Ъ7'0 )2)+ пст2 = (1 - р)||А ||2 +д.
¿=10=1
Перейдя к безусловным математическим ожиданиям, получим оценки
ЕЦА^Н2 < (1 - р)Е||А||2 + д,
из которых по лемме 1 (см. гл.2 [21]) следует неравенство (11), являющееся первой частью заключения теоремы 1.
Второе заключение об асимптотическом среднеквадратичном е-консенсусе получается из неравенства (11) при I то, так как из условия А4 следует, что |1 - р| < 1, и, следовательно, второе слагаемое в (11) экспоненциально стремится к нулю.
6. Имитационное моделирование. Для примера рассмотрим открытую сеть
массового обслуживания из 1024 агентов, узлы которой моделируются как серверы
и
2
системы массового обслуживания. Предполагается, что среднее время между событиями во входном потоке распределено экспоненциально с параметром din = 1/3000, а нормированные «трудоемкости» заданий распределены экспоненциально с параметром dp = 1 (нормированная «трудоемкость» — время необходимое для выполнения задания на одном узле с производительностью p = 1). Количество поступающих заданий равно 106. Выбор узла, на который поступает очередное задание, выполняется случайно по равномерному распределению из 1024 узлов. Агенты связаны между собой по кругу, а также на каждой итерации между агентами устанавливается n случайных связей, которые переключаются с течением времени. Пример такой сети приведен на рис. 1.
Рис. 1. Пример сети.
Рассмотрим случай, когда все задания поступают в разные моменты времени на интервале от 1 до 2000. На рис. 2, 3 показаны типичные результаты моделирований, в которых задания в момент поступления посылаются случайно на какой-то из узлов. Сплошные линии соответствуют варианту с перераспределением заданий по протоколу локального голосования, а штриховые — случаю без перераспределения. Видно, что адаптивная мультиагентная стратегия с перераспределением заданий между «связанными соседями» справляется с распределением заданий существенно лучше, чем стратегия без перераспределений.
Рис. 2. Зависимость количества заданий в очереди от времени.
tasks
1.5
^ 1
0.5
2.5
О
(
t
2
Рис. 3. Средние отклонения загрузки от средней загрузки в сети.
Заключение. В статье была рассмотрена задача балансировки загрузки муль-тиагентной системы в условиях стохастических неопределенностей. Для решения был предложен робастный протокол локального голосования и установлены условия достижения приближенного баланса загрузки сети, получена оценка асимптотического уровня субоптимальности протокола. Проведено имитационное моделирование работы алгоритма для вычислительной сети.
Литература
1. Huang M. Stochastic approximation for consensus with general time-varying weight matrices // Proc. 49th IEEE Conf. on Decision and Control. Atlanta. GA. USA. Dec. 2010. P. 74497454.
2. Tsitsiklis J. N., Bertsekas D. P., Athans M. Distributed asynchronous deterministic and stochastic gradient optimization algorithms // IEEE Trans. Autom. Contr. 1986. Vol.31. N9. P. 803-812.
3. Huang M., Manton J.H. Coordination and consensus of networked agents with noisy measurements: stochastic algorithms and asymptotic behavior // SIAM J. Control Optim. 2009. Vol.48. N1. P. 134-161.
4. Kar S., Moura J. M. F. Distributed consensus algorithms in sensor networks with imperfect communication: link failures and channel noise // IEEE Trans. Sig. Process. 2009. Vol.57. N 1. P. 355-369.
5. Li T., Zhang J.-F. Mean square average-consensus under measurement noises and fixed topologies // Automatica. 2009. Vol.45. N8. P. 1929-1936.
6. Borkar V. S. Stochastic Approximation: a dynamical systems viewpoint. New York: Cambridge University Press. 2008.
7. Вахитов А. Т., Граничин О. Н., Гуревич Л. С. Алгоритм стохастической аппроксимации с пробным возмущением на входе в нестационарной задаче оптимизации // Автоматика и телемеханика. 2009. №11. С. 70-79.
8. Granichin O., Gurevich L., Vakhitov A. Discrete-time minimum tracking based on stochastic approximation algorithm with randomized differences // Proc. 48th IEEE Conf. on Decision and Control. 2009. Shanghai. P. R. China. P. 5763-5767.
9. Granichin O., Vakhitov A., Vlasov V. Adaptive control of SISO plant with time-varying coefficients based on random test perturbation // Proc. Amer. Control Conf. June 30 — July 02. 2010. Baltimore. MD. USA. P. 4004-4009.
10. Граничин О. Н. Стохастическая оптимизация и системное программирование // Стохастическая оптимизация в информатике. 2010. Т. 6. C. 3-44.
11. Вахитов А. Т., Граничин О.Н., Паньшенсков М. А. Методы оценивания скорости передачи данных в Грид // Нейрокомпьютеры: разработка, применение. 2009. № 11. C. 45-52.
12. Амелина Н. О. Мультиагентные технологии, адаптация, самоорганизация, достижение консенсуса // Стохастическая оптимизация в информатике. Вып. 7. 2011. С. 149-185.
13. Амелина Н. О. Диспетчеризация сети с переменной топологией при помехах и задержках в измерениях // Вестн. С.-Петерб. ун-та. Сер. 1: Математика. Механика. Астрономия. 2012. №2. C. 11-15.
14. Амелина Н. О., Фрадков А. Л. Приближенный консенсус в стохастической динамической сети с неполной информацией и задержками в измерениях // Автоматика и телемеханика. 2012. №11. С. 6-30.
15. Amelina N., Fradkov A., and Amelin K. Approximate consensus in multi-agent stochastic systems with switched topology and noise // Proc. of MSC IEEE 2012, October 3-5, 2012. Dubrovnik. Croatia. P. 445-450.
16. Амелин К. С., Амелина Н. О., Граничин О. Н., Корявко А. В. Применение алгоритма локального голосования для достижения консенсуса в децентрализованной сети интеллектуальных агентов // Нейрокомпьютеры: разработка, применение. №11. 2012. С. 039-047.
17. Amelin K., Amelina N., Granichin O., Granichina O. Multi-agent stochastic systems with switched topology and noise // Proc. of 13th ACIS International Conference on Software Engineering, Artificial Intelligence, Networking, and Parallel/Distributed Computing (SNPD2012), August 8-10. Kyoto. Japan. 2012. P. 438-443.
18. Деревицкий Д. П., Фрадков Ф.Л. Две модели для анализа динамики алгоритмов адаптации // Автоматика и телемеханика. 1974. №1. С. 67-75.
19. Wang L., Liu Z., and Guo L. Robust consensus of multi-agent systems with noise // Proc. of the 26th Chinese Control Conference July 26-31, 2007. Zhangjiajie. Hunan. China. P. 737-741.
20. Fradkov A. L. Continuous-time averaged models of discrete-time stochastic systems: survey and open problems // Proc. 2011 50th IEEE Conference on Decision and Control and European Control Conference (CDC-ECC). 2011. P. 2076-2081.
21. Поляк Б. Т. Введение в оптимизацию. М.: Наука, 1983, 384 с.
Статья поступила в редакцию 28 марта 2013 г.
