Исследование консенсуса в мультиагентных системах в условиях стохастических неопределенностей Текст научной статьи по специальности «Математика»

Математика

Вестник Нижегородского университета им. Н.И. Лобачевского, 2013, № 1 (3), с. 173-179

УДК 519.7

ИССЛЕДОВАНИЕ КОНСЕНСУСА В МУЛЬТИАГЕНТНЫХ СИСТЕМАХ В УСЛОВИЯХ СТОХАСТИЧЕСКИХ НЕОПРЕДЕЛЕННОСТЕЙ

© 2013 г. Н.О. Амелина

Санкт-Петербургский госуниверситет

ngranichina@gmail .сот

Поступила в редакцию 04.12.2012

Рассматривается задача достижения консенсуса в децентрализованной стохастической сети с помехами, задержками и переменной топологией. Для решения задачи достижения консенсуса группой взаимодействующих агентов предлагается использовать алгоритм типа стохастической аппроксимации с неубывающим до нуля размером шага. Результаты имитационного моделирования показывают качество работы алгоритма в зависимости от разных параметров шага и помех.

Ключевые слова: достижение консенсуса, неопределенности, дискретные системы, стохастические дискретные системы, сетевые системы.

Введение

Задачи управления и распределенного взаимодействия в сетях динамических систем привлекают в последнее десятилетие все большее число исследователей. Во многом это объясняется широким применением мультиагентных систем в разных областях [1—8]. Несмотря на большое количество публикаций по этой тематике, пока удовлетворительные решения получены лишь для ограниченного класса практически важных задач. Решение таких задач существенно усложняется из-за обмена неполной информацией, которая, кроме того, обычно измеряется с задержками и помехами, а также из-за эффектов квантования (дискретизации), свойственных всем цифровым системам.

Для решения задачи достижения консенсуса группой взаимодействующих агентов, обменивающихся информацией, часто применяются алгоритмы типа стохастической аппроксимации с уменьшающимся размером шага [9-16]. При динамических внешних изменениях состояний агентов с течением времени (поступлении новых заданий и т.п.) алгоритмы стохастической аппроксимации с уменьшающимся до нуля размером шага неработоспособны.

Указанные проблемы актуализируют необходимость исследования свойств алгоритма типа стохастической аппроксимации при малом постоянном или неуменьшающемся до нуля размере шага при нелинейной постановке задачи в условиях случайно изменяющейся структуры связей в сети и наблюдениях со случайными задержками и помехами.

1. Стохастическая динамическая сеть

Рассмотрим динамическую сеть из набора агентов (узлов) N = {1,2,..., п). Граф (Д,Е) определяется N и набором (множеством) ребер или дуг Е . Множеством соседей узла / называется N = {у: (у,/) е Е}, т. е. множество узлов с ребрами, входящими в /. Сопоставив каждому ребру (у,') е Е вес а',у>0, определяем матрицу смежности (или связности) А = [а',у ] графа, обозначаемого далее Оа (здесь и далее верхние индексы у переменных показывают соответствующие номера узлов). Определим взвешенную полустепень захода вершины / как

сумму / -й строки матрицы А : (А) = ^П_а'и .

Каждому агенту ; е N в момент времени / = 0.1.2..../ ставится в соответствие изменяющееся во времени состояние х‘ е М, динамика которых описывается разностными уравнениями

К+1 =К+Г(КХ) (1)

с некоторыми функциями /'(•,•):№ х № —» М , зависящими от состояний в предшествующий момент времени х' и управляющих воздействий и] е М, которые в момент времени / воздействуют на узел / .

Будем рассматривать сетевую (мультиагент-ную) систему, состоящую из динамических агентов с входами и/, выходами у1’1 и состояниями х/ .

Работа выполнена при финансовой поддержке Федеральной целевой программы «Научные и научнопедагогические кадры инновационной России» на 2009-2013 гг., госконтракты №16.740.11.0042, №14.740.11.0942, №14.В3 7.21.0225.

Узлы ‘ и у называются согласованными в сети в момент времени / тогда и только тогда, когда х] = х/. Задача о достижении консенсуса — это согласование всех узлов между собой, т.е. требуется найти такой протокол управления, который переводит все состояния в одно и то же постоянное значение ха = х', V/ е N.

Будем считать, что структура связей динамической сети моделируется с помощью последовательности ориентированных графов {(N5 Е )}(ь0, где Е, С Е меняются во времени. Если (у,') е Е, то говорим, что узел ' в момент времени , получает информацию от узла у для целей управления с обратной связью. Обозначим А — соответствующие Е матрицы смежности; Е^ ={(у,/):8ир(Ь0а/,у >0} — максимальное множество каналов связи.

Для формирования стратегии управления каждый узел ' е N имеет информацию о своем собственном состоянии (может быть и зашумленную)

',11.1,'

У, = , + 5

и, если N ^ 0, зашумленные наблюдения о состояниях соседей

у, , ,. у + 5;J 5 у е ж;5

где 5,, 5^ — помехи, а 0 < й1’1 < й — целочисленная задержка, й — максимально возможная задержка. Так как система начинает работу при , = 0, неявное требование к множеству соседей:

у е N1 ^, - d/,■7 > 0 . Положив 5],у' = 0 для всех

— я2

остальных пар /,у , определим еК" — вектор (матрица п х п, расписанная по строкам в виде вектора), составленный из элементов 5',у,/,у е N.

Алгоритм управления, называемый протоколом локального голосования, задается формулами:

и] = а, £ь;,у (У>у - У»'), (2)

уеМ'

где а >0 — размеры шагов протокола управления, Ь],у >0, V’] е N1. Положив Ь/,у = 0 для всех остальных пар ‘, у , определим В = Щ,у' ] — матрицу протокола управления.

Пусть (О, ¥, Р) — основное вероятностное пространство. Будем обозначать: Е — математическое ожидание и Е — условное математическое ожидание при условии х .

Сформулируем основные условия, при кото-

рых протокол локального голосования (2) обеспечивает достижение консенсуса.

А1. V/ е N функции /' (х, и) — липшицевы по х и и :

I Г(х, и) - Г(х\и') |< Ц(Е I х - х' | +1 и - и' |), и при любом фиксированном х функции Г (х, •) такие, что Ех/‘ (х, и) = /‘ (х, Ех и);

А2. а) V/ е N, у е N ^ {/} помехи наблюдений 5',у — центрированные, независимые, одинаково распределенные случайные величины с ограниченными дисперсиями: Е(5,у' )2 < ст2.

б) V/ е N, у е N появление переменных ребер (у,/) в графе О. — независимые, случайные события, вероятность которых р/,у (т. е. матрицы А — независимые, одинаково распределенные случайные матрицы).

в) V/ е N у е N веса Ь‘,у в протоколе управления — ограниченные, случайные величины: Ь < Ь‘,у < Ь с вероятностью 1, и существуют пределы А" = Пт, >Щ' ■

г) Существует конечная величина с1 е N :

V/ е N, у е N < й с вероятностью 1 и целочисленные задержки ,у — независимые,

одинаково распределенные случайные величины, принимающие значения к = 0,...,с1 с вероятностями р ',у.

Кроме того, все эти случайные величины и матрицы независимы между собой, и их элементы имеют ограниченные дисперсии.

Обозначим п = п(й +1) и определим матрицу Аах размерности п х п по правилу:

~‘,у' _ /,((у'-1)тойп)+1 '•,((у-1)тойп)+1г‘',((у-1)тойп)+1

шах "”а 5

г еЖ, у = 1,2,...,и,

= 0, / = и + 1,и + 2,...,й, у' = 1,2,...,й.

Здесь операция mod — остаток от деления, а d /V — деление нацело.

Будем считать, что для матрицы структуры связей сети выполняется следующее условие:

А3. Граф (И, Е^) имеет остовное дерево, и для любого ребра (у,/ ) е Е^ среди элементов

«тах, , ■ • ■, * матрицы Аш найдется хотя

бы один ненулевой.

Обозначим хг = [х';...;х"] — соответствующий вектор-столбец, полученный вертикальным

соединением п чисел. Положим х = 0 для -с1 </<(). и определим X, е Мл<г - расширенный вектор СОСТОЯНИЙ Хг = = \х1,х1 .,х _^],

где X, — вектор, состоящий из таких х' , что Зу е N Зк' > к: р1, >0, т. е. это значение с положительной вероятностью участвует в формировании хотя бы одного из управляющих воздействий. В дальнейшем для простоты будем считать, что так введенный расширенный вектор состояний равен Х1 = [х(,х(_1,...,х1 , т.е. в

него входят все компоненты со всевозможными задержками, не превосходящими й .

Из-за наличия помех, задержек, неопределенностей в протоколе управления и переменной структуры связей точного консенсуса достичь достаточно сложно. Поэтому мы будем рассматривать задачу о достижении приближенного консенсуса — е -консенсуса.

Определение.1 п узлов достигают среднеквадратичного е -консенсуса в момент времени ,, если Е || х] ||2< да, / е N, и существует слу-

Zt+і = UZt + G(at, Z, ), ^= Хо, (5)

чайная переменная

2

ft(x‘,,a, ZbiiJ((xJ/,j -x;) + (w‘>J -w‘>‘)))

JЄN‘

где

G(a, Z ) = G

Ґ л Л

z

а, : =

n(d+\)

V z J

( ... Л

/'(У ,as'(Z))

0,

V nd J

, (6)

что

х такая,

Е || х\ — х ||2<є для всех і є N.

Определение.2 п узлов достигают асимптотического консенсуса, если

Е || х\ ||2< да, і є N, и существует случайная переменная х* такая, что Нт^ЕН х[ — х ||2 = 0 для всех і є N.

Динамику обобщенных состояний сети в векторно-матричном виде можно записать следующим образом:

Х+1= их, + Па,, X,, Я,), (3)

где и — матрица размерности п х п , состоящая из нулей и единиц в первых п строках главной диагонали и по п +1 -й диагонали, а

— _ 2 -Е(«г,Хг,н'г): Кх Мя хМя —»№я - вектор-

функция соответствующих аргументов:

Е(а,Д, ч>,) =

( ... Л

s (Z) = Xj- ((XJPikJzJ+kn ) - z') =

jeN‘ k=0

n(d + 1)

= -d (Amax) Z + £ 41Z- ,' E N.

j=1

Теорема [17] 1. ЗЕсли выполнены условия A1, A2, 0<at<a, в усредненной дискретной системе (5) в момент времени Т достигается s /4 -консенсус и справедлива оценка

с Т2

С тт e 2 Тa <s /4, тогда в стохастической дискретной системе (3) достигается s -консенсус в момент времени t.

Рассмотрим важный частный случай

Vi е N f (x, u)= и и a = a = const, в котором дискретная усредненная система (5) имеет вид: Zt+i=(I - ((I -1) - L(aAmt)Zt. (7)

Теорема [18] 2. 4Если выполнены условия A2, A3, a = a >0, f (x, и) = и для любого i е N и выполнено условие a < 1 / dmax для матрицы A , тогда в усредненной дискретной системе (5) n узлов достигают асимптотического среднеквадратичного консенсуса.

Кроме того, если за время Т(s /4) в усредненной дискретной системе (5) достигается s /4 -консенсус и существует Т > Т(s /4), для которого параметр a обеспечивает выполнение условия

— С

Cxe 2a<s /4, f „2~ _ , 1Ч>

Т.,

C = Bn

<? + <?(—+|| Х0 ||2)еПп(сз+1)

V

с,

2-3а2\\ЦАвтЩс = = п2Ь2а1,г = 2п(п-1)Ь2т?,

(4)

с3 = 2і"

+ 2а2(\\Ь{Атшк)\\22 +с),

V 0пй у

содержащая ненулевые компоненты только на первых п местах.

Рассмотрим соответствующую (3) усредненную дискретную модель

где с1 = 0, если с1 = 0, или с1 = 1, если с1> 0, тогда в стохастической дискретной системе (3) достигается е -консенсус в моменты времени ,:Т(е/4) <, <Т.

2. Пример. Балансировка загрузки узлов Рассмотрим модель децентрализованной си-

стемы распределения заданий между п агентами (узлами), выполняющими параллельно однотипные задания, в которой допускается перераспределение заданий между агентами на основе обратных связей. Каждый агент / е N = {1[ выполняет поступающие задания по принципу очереди. Задания поступают в систему в различные дискретные моменты времени ? = 1,2на разные узлы. Связь между узлами определяется структурой связи динамической сети. Примерами таких систем могут быть транспортные сети, вычислительные сети, логистические сети и др.

В момент времени ; поведение каждого агента / е N описывается двумя характеристиками:

ц' — длина очереди из атомарных элементарных заданий узла / в момент времени /;

г' — производительность узла ‘ в момент времени ; .

При достаточно общих предположениях можно считать, что динамика изменений загруженности агентов описывается следующими уравнениями:

д;+1=д;-/•/+<+«;; /ел^ = о,1,...,:г, (8)

где 2' — размер нового задания, поступившего на узел ‘ в момент времени /.

Если N ф 0, то будем считать, что в момент времени / узел ‘ получает данные о производительности соседей и зашумленные наблюдения об их загруженности:

У, = , + 5=, у' е N1. Кроме того, в каждый

;-Л1

момент времени , узел ‘ имеет зашумленные данные о своей загруженности у/' = ц] + 5/'.

Возьмем величину х] = ц] / Г в качестве состояния узла /. Тогда цель управления — достижение консенсуса — будет соответствовать оптимальному распределению заданий между узлами.

Предположим, что г‘ ф 0, V /. Рассмотрим протокол управления (2), в котором V / е N,

V , определим N = N и Ь'’] = Г / г‘, у е Щ .

Динамика замкнутой системы (1) для протокола (2) в рассматриваемом случае имеет вид:

х‘+1 = х -1+2] / г; +а, £ь;,у (УУ / г/ - у/ / г;) (9)

уем'

3. Имитационное моделирование

Рассмотрим пример системы, состоящей из вычислительных узлов. Зададим начальные

значения длин очереди и производительностей узлов. Предположим, что производительности не меняются с течением времени.

Для системы, состоящий из 6 вычислительных узлов на рис. 1 показан график изменений состояний узлов с течением времени. По графику загрузки узлов можно оценить скорость схождения к консенсусу.

Рис. 1. График загрузки узлов для системы из 6 узлов

На рис. 2 показан график изменений состояний узлов для системы, состоящей из 50 вычислительных узлов.

Каждый узел имеет наблюдения о своем собственном состоянии и о состояниях соседних узлов, которые приходят с помехами. При моделировании помехи выбираются по нормальному распределению с нулевым математическим ожиданием и дисперсией, которую можно менять в процессе работы приложения. На следующих нескольких рисунках (рис. 3

а,б,в,г) показаны графики изменений состояний узлов при разных значениях дисперсии.

Результаты моделирования показывают, что при больших помехах (соизмеримых с загрузкой самих узлов) алгоритм не сходится. Но при уменьшении размера шага а сходимость к консенсусу восстанавливается (рис. 4).

При исследовании возможных значений шага алгоритма были получены графики загрузки узлов для разных значений параметра шага. Следующие несколько примеров (рис. 5) имитационного моделирования показывают скорость приближения к консенсусу при разных а . По графикам видно, что при разных значениях параметра шага сходимость алгоритма различна. При малых значениях параметра сходимость к консенсусу происходит очень медленно. С ростом значения параметра скорость приближения к консенсусу увеличивается, но до определенного уровня.

Далее при увеличении шага алгоритма система становится нестабильной и консенсус не достигается. Таким образом, для каждой конкретной задачи можно выбрать оптимальный параметр алгоритма локального голосования.

|о.акК)

О 5 10 15 30 25 ЭП 15 40 45 91 95 <0

Ипю

Адо(1 — Дфгг*2 АралО ДфотН Ад*г*3 Ддяп№ Д^п»’ Дд«*8 — ДдягЮ—АдтДО Афт* 11

АдялШ — ДдяпОЗ Ддвпи4 — АдвШ15 — Дд*пив — Адипит Ддвлив лдапДО — Ддтш Ьфгл21

*0*гЛ22—ЬфвгАП—А{>*с*24—Адот125 — АдетОб—Дд*ПС27—Ад*п128 ЛдяНВ АдигЛЭО АфапОД

Ад*п02 АдвгчЗЗ Адип(Э4 — Ад*г*35 — Ад*иЭ6 Ао«т37 ДдетДО — Ад«*Э9 Ад*г*40 Дд**41

*0»*42 — ХртШЗ — &>*«44 Ар«И45 Ад<т46 — Ар«*4- Ар«ОМ9—Л»ГИ9 *<>*Ч5и

Рис. 2. График загрузки узлов для системы из 50 узлов

Рис. 3. Графики загрузки узлов при разных значениях дисперсии помех

Рис. 4. Графики загрузки узлов при малом постоянном размере шага

Рис. 5. Графики загрузки узлов при разных параметрах шага

Заключение

Рассмотрена задача достижения консенсуса в мультиагентных системах при неполной информации, переменной структуре связей, помехах и задержках в измерениях.

В статье рассматривается применение протокола локального голосования для задачи достижения консенсуса в стохастической динамической сети. Примеры имитационного моделирования позволяют исследовать границы применимости алгоритма в условиях стохастических неопределенностей. Результаты имитационного моделирования показали, что для каждой конкретной задачи нужно выбирать свой параметр шага, при котором система максимально быстро приходит к консенсусу.

Работа выполнена при финансовой поддержке Российского фонда фундаментальных исследований (грант № 11-08-01218-а) и Федеральной целевой программы «Научные и научно-педагогические кадры инновационной России» на 2009-2013 гг., госконтракты № 16.740.11.0042, 14.740.11.0942, 14.В37.21.0225.

Список литературы

1. Fax A., Murray R.M. Information flow and cooperative control of vehicle formations // IEEE Trans. Automat. Contr. Sept. 2004. Vol. 49. P. 1465-1476.

2. Toner J., Tu Y. Flocks, herds, and schools: a quantitative theory of flocking // Phys. Rev. E. Oct. 1998. Vol. 58, №4. P. 4828-4858.

3. Cortes J., Bullo F. Coordination and geometric

optimization via distributed dynamical systems // SIAM Journal on Control and Optimization. 2005. Vol. 44, №5. P. 1543-1574.

4. Paganini F., Doyle J., Low S. Scalable laws for stable network congestion control // Proc. Of 40th IEEE Conf. on Decision and Control. 2001. Vol. 1. Orlando. FL. P. 185-190.

5. Antal C., Granichin O., Levi S. Adaptive autonomous soaring of multiple UAVs using SPSA // In Proc. 49th IEEE CDC. 2010. December 15-17. Atlanta. GA. USA, 2010. P. 3656-3661.

6. Амелина Н.О. Балансировка загрузки узлов децентрализованной вычислительной сети при неполной информации // Нейрокомпьютеры: разработка, применение. 2011. № 6. C. 56-63.

7. Амелина Н.О. Мультиагентные технологии, адаптация, самоорганизация, достижение консенсуса // Стохаст. оптимизация в информатике. 2011. Т. 7. Вып. 1. С. 149-185.

8. Амелина Н., Лада А., Майоров И. и др. Исследование моделей организации грузовых перевозок с применением мультиагентной системы адаптивного планирования грузовиков в реальном времени // Проблемы управления. 2011. №6. С. 31-37.

9. Huang M. Stochastic Approximation for Consensus with General Time-Varying Weight Matrices // Proc. 49th IEEE CDC. Atlanta. GA. USA. Dec. 2010. P. 7449-7454.

10. Kar S., Moura J.M.F. Distributed consensus algorithms in sensor networks with imperfect communication: link failures and channel noise // IEEE Trans. Sig. Process. 2009. Vol. 57, №. 1. P. 355-369.

11. Li T., Zhang J.-F. Mean square average-consensus under measurement noises and fixed topologies // Automatica. 2009. Vol. 45, №. 8. P. 1929-1936.

12. Rajagopal R., Wainwright M. J. Network-based

consensus averaging with general noisy channels // IEEE Trans. on Signal Proc. 2011. Vol. 59, №. 1. P. 373-385.

13. Вахитов А.Т., Граничин О.Н., Гуревич Л.С. Алгоритм стохастической аппроксимации с пробным возмущением на входе в нестационарной задаче оптимизации // АиТ. 2009. №11. С. 70-79.

14. Granichin O., Gurevich L., Vakhitov A. Discretetime minimum tracking based on stochastic approximation algorithm with randomized differences // Proc. Combined 48th IEEE Conf. on Decision and Control and 28th Chinese Control Conf. December 16-18. 2009. Shanghai. P.R. China. P. 5763-5767.

15. Borkar V.S. Stochastic approximation: a dynam-

ical systems viewpoint. New York: Cambridge University Press, 2008. 164 p.

16. Граничин О.Н. Стохастическая оптимизация и системное программирование // Стохаст. оптимизация в информатике. 2010. Т. 6. С. 3-44.

17. Амелина Н. О., Фрадков А. Л. Приближенный консенсус в стохастической динамической сети с неполной информацией и задержками в измерениях // Автоматика и телемеханика. 2012.

18. Амелина Н. О., Фрадков А. Л. Метод усредненных моделей в задаче достижения консенсуса // Стохаст. оптимизация в информатике. 2012. Т. 8. Вып. 1. С. 3-39.

CONSENSUS PROBLEM IN MULTI-AGENT SYSTEMS WITH STOCHASTIC UNCERTAINTIES

N.O. Amelina

The problem of achieving consensus in a decentralized stochastic network with noise, delays, and variable topology was considered. To solve the consensus problem of the group of interacting agents the stochastic approximation type algorithm with a non-decreasing to zero step size was encouraged to use. Simulation results that show the quality of the algorithm depending on the different step parameters and noise were presented.

Keywords: consensus, uncertainties, discrete systems, stochastic discrete systems, network systems.