CC BY
78
УДК 519.177+519.217.2+517.977.1 ББК 22.18
СХОДИМОСТЬ И УСТОЙЧИВОСТЬ В ЗАДАЧАХ СОГЛАСОВАНИЯ ХАРАКТЕРИСТИК (ОБЗОР БАЗОВЫХ РЕЗУЛЬТАТОВ)1
Агаев Р. П.2, Чеботарев П. Ю.3
(Учреждение Российской академии наук Институт проблем управления им. В. А. Трапезникова РАН, Москва)
Статья представляет собой обзор базовых работ по проблеме согласования характеристик (consensus problem) в многоагентных системах и по устойчивости соответствующих процедур. Ее первая часть посвящена задаче согласования мнений агентов в дискретном времени. Во второй части рассмотрены более общие задачи согласования и предполагается, что каждый агент характеризуется 2d параметрами в d-мерном евклидовом пространстве: координатами и проекциями скорости. Изучаются процедуры построения траекторий, согласованных с заданным курсом и выстраивающих (поддерживающих) предписанную конфигурацию группы объектов. При корректировке скорости каждый агент в качестве нового ее значения выбирает определенную функцию от значений характеристик своих «соседей» и собственных характеристик. Информационные связи задаются орграфом коммуникаций агентов. Для стабилизации используется линейная обратная связь. Устойчивость движения исследуется в терминах, характеризующих связность орграфа коммуникаций.
Ключевые слова: многоагентные системы, децентрализованное управление, граф коммуникаций, консенсус, лапласовский спектр, модель Де Гроота, устойчивость, управление.
1 Работа выполнена при поддержке РФФИ (грант № 09-07-00371a) и Программы Президиума РАН «Математическая теория управления».
2Рафиг Пашаевич Агаев, к.т.н., с.н.с., доцент (agaraf@rambler.ru).
3Павел Юрьевич Чеботарев, д.ф.-м.н., в.н.с. (pavel4e@gmail.com, Москва, ул. Профсоюзная, д. 65, тел. (495) 334-88-69).
470
1. Введение
Лишь за последние 7 лет опубликовано несколько тысяч работ по теоретико-графовым моделям децентрализованного управления в многоагентных системах. Для адекватного обзора всего этого направления подходит только формат книги. Наша задача скромнее: обсудить базовые результаты анализа двух классов моделей. Первый из них включает модели последовательного усреднения мнений агентов в дискретном времени. Исследования этих моделей базируются на результатах теории однородных и неоднородных цепей Маркова. Второй класс объединяет модели согласованного движения группы объектов в евклидовом пространстве с поддержанием (выстраиванием) заданной геометрической конфигурации в непрерывном времени. Эти модели представляются системами линейных дифференциальных уравнений. В моделях каждого из классов структура информационных связей между агентами задается взвешенным ориентированным графом, а свойства траекторий процессов согласования характеристик определяются спектральными свойствами лапласовской матрицы этого орграфа. Нашим приоритетом в настоящем обзоре является не широта охвата работ, а детальное рассмотрение и прослеживание генезиса базовых результатов.
2. Основные определения
Решение многих задач управления многоагентными системами связано с исследованием спектров графов (орграфов) коммуникаций и их древесной структуры. В литературе используются различные матрицы соответствующих графов (см., например, [13, 22]). Пусть С - взвешенный орграф. Обозначим через Wij > 0 вес дуги орграфа С, направленной из вершины г в вершину 3. Лапласовская матрица (или строчная лапласовская матрица) Ь = Ь(С) = (1^) порядка N х N для взвешенного орграфа С определяется следующим образом: = —wij, если ] = г, и
-гг = —^2к=г-гк, г,3 = 1,...^. Нередко вместо лапласовской матрицы строится матрица Кирхгофа, которую обычно также обо-
значают L = (¿ij). Она определяется соотношениями ¿j = -Wji, если j = i, и ¿ii = — Y^,k=i¿ik, i,j = 1,... ,N. Некоторые авторы [40] именно ее называют ориентированным лапласианом орграфа. Классы матриц Кирхгофа и лапласовских матриц совпадают. Если граф коммуникаций - неориентированный, то соответствующую матрицу всегда называют лапласовской и обозначают через L.
Для орграфов коммуникаций, в которых направления дуг соответствуют направлениям информационных потоков, удобно использовать матрицы Кирхгофа. В то же время, в теории цепей Маркова для описания переходов между состояниями удобно пользоваться лапласовскими матрицами.
Неотрицательная матрица P называется примитивной4, если она неразложима и имеет лишь одно собственное значение с максимальным модулем. Стохастическая матрица - это неотрицательная матрица с единичными строчными суммами. Цепь Маркова называют ациклической, если ее матрица переходов примитивна. Стохастическую матрицу P и соответствующую ей однородную цепь Маркова называют правильными, если у матрицы P нет собственных значений, отличных от единицы и равных по модулю единице. Если P - правильная и единица является ее однократным собственным значением, то P и соответствующую цепь называют регулярными.5 Для регулярной цепи при k ^ ж
(k) T~ik
пределы элементов pj матриц Pk существуют и не зависят от
i, но, вообще говоря, зависят от6 j. Регулярность эквивалентна понятию SIA (Stochastic, Indecomposable, Aperiodic)7, часто используемому в англоязычной литературе. Говорят, что две матрицы являются однотипными, если все их ненулевые элементы
4Далее в терминологии в основном следуем [6].
5 А. Н. Колмогоров, рассмотрев эргодический принцип, показал [8, условие (22b)], что эргодичность цепи эквивалентна ее регулярности.
6 В [11] введено понятие положительно регулярной цепи, т.е. цепи, для которой дополнительно пределы pj при k ^ ж все больше нуля.
7 Стохастическая матрицы P является SIA, если limm^TO Pm = Q и все строки Q одинаковы.
находятся в одинаковых позициях.
Если у стохастической матрицы хотя бы один столбец целиком положителен, то ее называют матрицей Маркова (см., например, [12, 20]). Класс таких матриц обозначим через М. Стохастическая матрица Р регулярна тогда и только тогда, когда для некоторого натурального г Рг является матрицей Маркова.
3. Дискретные модели достижения консенсуса
3.1. Модель Де Гроота
Одна из первых моделей достижения консенсуса была предложена и изучена М. Де Гроотом. В [23] он рассмотрел задачу согласования субъективных оценок неизвестного параметра. Эти оценки сопоставлены членам группы, действующей как единая команда. В основе согласования мнений, т.е. получения единой оценки для всей группы, лежат итерации, последовательно сближающие мнения агентов. Если в(0) = (в},..., )т - вектор на-
чальных мнений членов группы, а в(1) = (в},..., в^)т - вектор мнений на следующем шаге, то в(1) = Рв(0), где Р - стохастическая матрица, элемент которой щ задает степень влияния мнения і-го агента на мнение і-го. На к-ом шаге получаем вектор мнений в (к) = Ркв(0). Согласие достижимо, если при некотором в Є М для всех і имеет место вгк = в. Согласие дости-
жимо при любых начальных мнениях в том и только том случае, если существует предельная матрица іішк^^ Рк и все ее строки совпадают, иными словами, если матрица Р регулярна. Таким образом, в модели Де Гроота достижение консенсуса определяется сходимостью степеней стохастической матрицы влияний.
В [23] приведены некоторые достаточные условия сходимости степеней Рк: одно из них - наличие положительного столбца в матрице Рк при некотором к, т. е. принадлежность Рк классу М матриц Маркова (теорема 1 в [23]); другое - взаимная достижимость всех состояний цепи Маркова, соответствующей матрице Р, и ее апериодичность (в этом случае Р примитивна) - теорема 2 в [23].
Вероятностный вектор8 п называют стационарным для стохастической матрицы Р, если имеет место птР = пт. Стационарный вектор - левый собственный вектор Р, соответствующий собственному значению 1.
Как отмечено в [23], согласие достигается тогда и только тогда, когда существует вектор п = (п},..., п^)т, такой, что для
всех і, і имеет место іІШк = п^-. Общее мнение в этом
случае определяется формулой ^п^в0.
Если согласие достижимо при любых начальных мнениях и согласованное мнение равно птв(0) = ^п^в0, то (см. теорему 3 в [23]) вектор п - единственный9 стационарный вектор для Р.
Если согласие достижимо и состояние і в цепи Маркова, определяемой Р, невозвратно, то, как показано в [23], п = 0 и мнение і-го агента не влияет на согласованное мнение. Например, если матрица Р имеет вид
Р = ( 11 0 VI 3 і
то пт = (3, 3, 0) и консенсус определяется формулой 3в} + 3в0. Поскольку состояние, соответствующее третьему агенту, - невозвратное, при определении консенсуса его мнение не учитывается. Для матрицы
Р
/11 0 0\ 0 0 40 0 2 1/
2 1 1 1 2 2 00
8 Вектор называется вероятностным, если все его компоненты неотрицательны и их сумма равна единице.
9В действительности, еще в [6] (§7 главы 13) отмечалось, что если Р регулярна, то из уравнения п = Ртп вектор п определяется однозначно и каждая строка матрицы предельных вероятностей есть результат его транспонирования.
согласие, вообще говоря, не достигается. Но оно достижимо, в частности, при з1 + 50 = + 50. Существенный вопрос о том,
при каких начальных векторах 5(0) согласие достижимо в случае нерегулярной матрицы, в [23] не изучается. Мы обсудим его в одной из следующих работ. Отметим, что здесь могут быть использованы, в частности, результаты [4]. Одним из важных применений модели Де Гроота является информационное управление в социальных сетях [3].
3.2. Обобщения модели Де Гроота
Модель Де Гроота была обобщена в работе Чаттерджи и Се-неты [20], где матрица коммуникаций меняется на каждом шаге, и итеративный процесс задается произведением матриц:
(1) 5(Л)= Рк Рк-1 •" Р15(0).
Решение задачи согласования мнений в такой постановке сводится к исследованию сходимости неоднородных цепей Маркова. Базовые результаты в этой области принадлежат Дж. Хадж-налу [26, 27]. Так, теорема 2 из [20] аналогична приводимой ниже теореме 3, полученной в [27]. Прежде чем перейти к результатам [26, 27], приведем более раннюю теорему [12].
Рассмотрим неоднородную цепь Маркова, характеризующуюся последовательностью стохастических матриц Р1, Р2,..., и введем обозначение
к
(2) Як = П Рг, к = 1, 2,...
г=1
Заметим, что порядок умножения матриц Рг в (2) отличается от порядка умножения в (1).
Отметим также, что как для неоднородных цепей Маркова, так и в задачах достижения согласия не представляет интереса тривиальный случай Рг = 1-ит, где -ит - вероятностный вектор (см. стр. 91 в [20]). В этом случае для любой стохастической матрицы 5 верно 5Рг = Рг, причем произведение Рг5 - также матрица с одинаковыми строками. Таким образом, если в модели (1) хотя бы один сомножитель имеет одинаковые строки, то
согласие уже достигнуто, и матрицы-множители, стоящие слева от матрицы с одинаковыми строками, не играют никакой роли.
Пусть К1 - множество всех примитивных матриц. В [12] отмечается, что это множество не замкнуто относительно умножения. В К1 выделим подмножество К 2 следующим образом: Р € К2 тогда и только тогда, когда произведение Р на любую матрицу из К1 - примитивная матрица. Нетрудно видеть, что если у примитивной матрицы все элементы главной диагонали положительны, то она принадлежит классу К2. Класс М также входит в К2.
Теорема 1 [12]. 1) Если все матрицы последовательности Яk принадлежат классу К2 и наименьший элемент каждой матрицы не меньше некоторого фиксированного числа 5 > 0, то цепь Маркова, определяемая этой последовательностью, является эр-годической.
2) Если выполняется только второе условие, то для эргодичности цепи необходимо и достаточно, чтобы существовала бесконечная последовательность марковских стохастических матриц вида М^щ^ = Рп^+Л^^ ■ ■ ■ Рщ, где г = 1,2,... и п0 = 1.
Данная теорема весьма полезна при исследовании эргодичности неоднородных цепей Маркова.
Рассмотрим теперь результаты Хаджнала [26, 27], также применимые при решении задач согласования мнений в случае изменяющейся матрицы влияний.
В работе [26] рассматривается неоднородная цепь, матрица переходных вероятностей которой на каждом шаге регулярна. Автор вводит два специальных класса цепей Маркова и получает достаточные условия сходимости для каждого из них.
Пусть иг = Ишк^те Ргк, г = 1, 2, ...
Цепь Маркова с матрицами Як = ) (см. (2)) называется
слабо эргодической, если для всех г, 3, 5 = 1,..., N имеет место ^ 0. Слабая эргодичность предполагает стремление к нулю разности между строками, но не предполагает существования предела матриц Як. Цепь с матрицами Як называют сильно
эргодической, если для некоторого вероятностного вектора п
(3) lim Hk = 1пт,
k^-ж
где 1 - вектор из единиц. Из результатов [26] вытекает Следствие 1. Если для неоднородной цепи
1) последовательность U, U2, ... имеет предел U,
2) ряд (UjPj+i — Uj) абсолютно сходится и
3) limk^^ Пк=1(1 — P^iin) = 0, где p^L - наименьший элемент матрицы Pj,
то цепь с матрицами Нк сильно эргодична.
Если выполняется только условие 3) следствия 1, то цепь -слабо эргодическая (теорема 2 в [26]).
Еще одно условие сильной эргодичности дает теорема 2. Теорема 2 (теорема 3 в [26]). Если в неоднородной цепи Маркова все матрицы переходных вероятностей образуют конечное коммутативное семейство регулярных матриц, то такая цепь - сильно эргодическая.
Для неоднородной цепи Маркова, заданной последовательностью стохастических матриц Pi, P2,..., слабая эргодичность не влечет сильную. Но в модели согласования мнений Чаттерджи и Сенеты стохастические матрицы умножаются в обратном порядке, и можно показать, что аналоги слабой и сильной эргодичности эквивалентны. Несколько иначе обстоит дело, когда вместо последовательности P1, P2,... используется Pr, Pr+1,..., где для данной цепи r может принимать любое натуральное значение. В этом случае для «обратного» порядка умножения стохастических матриц, как и для «прямого», сильная эргодичность не вытекает из слабой.
Пусть Hr,k = (hj^) - стохастические матрицы, определяемые следующим образом [27]:
к
(4) Hr,k = ^ Pr+i ,
г=1
где Pi - исходные стохастические матрицы.
В [27] изучается сходимость последовательностей Hr,k при к ^ ж. Как и ранее, для цепи, характеризующейся матрицами
Hr k, могут быть введены понятия слабой эргодичности, когда для всех i, j, s = 1,..., N и r ^ 0 имеет место — j^) ^ 0, и
сильной эргодичности, когда для всех r ^ 0 верно
(5) lim Hr,k = 1п^,
k^-ж
где пг - некоторый вероятностный вектор, зависящий от г. При сильной эргодичности (из которой следует слабая эргодичность) мнения агентов не только сближаются, но и стабилизируются.
Даже если разности между строками матрицы Hr,k не стремятся к нулю при к ^ ж, такое стремление при определенных условиях может быть обеспечено умножением Hr,k слева на одну или несколько матриц, не являющихся эргодическими.
Известно, что произведение двух разложимых матриц может быть регулярной матрицей. И наоборот, произведение регулярных матриц может быть разложимой матрицей. Практический интерес представляет класс регулярных матриц со следующими свойствами:
1) если две матрицы принадлежат данному классу, то их произведение также ему принадлежит;
2) наличие у цепи, удовлетворяющей определенному естественному условию, бесконечного числа матриц из этого класса обеспечивает ее эргодичность.
Как следует из достаточных условий сходимости степеней Рk [23], в качестве такого класса может быть рассмотрено множество матриц, содержащих хотя бы один столбец из ненулевых элементов.
Матрицу P называют матрицей сцеплений, или скрембли-рующей матрицей (scrambling matrix), если для любых двух ее строк i и j существует хотя бы один столбец к такой, что pjk > 0
и Pjk > 0.
В [27] введена мера эргодичности А(Р) для стохастической матрицы:
(6) А(Р) = minVmin^jk ,Pjk).
i, j -
, j k
Легко убедиться, что P - скремблирующая матрица тогда и только тогда, когда А(Р) > 0.
Размахом m(P) матрицы P называется величина
(7) m(P) = max max |pifc - j |.
k i,j
Дж. Хаджнал показал, что размах матрицы Hk = Пк=1 Pi связан с мерами эргодичности A(Pi) следующим неравенством (теореме 2 в [27]):
k
(8) m(Hk) < П(! - A(Pi)).
j=i
Следует отметить, что m(Hk) = 0 тогда и только тогда, когда все строки Hk равны. Это утверждение вместе с неравенством
(8) позволяет доказать следующее необходимое и достаточное условие эргодичности неоднородной цепи Маркова.
Теорема 3 [27]. Неоднородная цепь Маркова эргодична тогда и только тогда, когда существует разбиение последовательности шагов (испытаний) на блоки, начинающиеся с шагов i 1 = 0, і2, із,... и такие, что П^=1(1 — A(Hj,kj)) = 0, где kj = ij+1 — ij, j Є N.
Из теории рядов известно, что если A(Hj kj) = 1, і =
1, 2, ..., то Ilj=1(1 — A(Hijkj)) = 0 тогда и только тогда, когда Xj=1 A(Hijkj) расходится. С использованием этого факта доказывается
Следствие 2 (из теоремы 3). Если J2jj=1 A(Pj) расходится, то цепь Маркова - эргодическая.
Кроме того, в [27] доказана следующая
Лемма 1 [27]. Неоднородная цепь Маркова является эргодической, если все переходные матрицы регулярны и однотипны.
В задачах децентрализованного управления также часто используется следующий важный результат.
Теорема 4 [43]. Пусть P^ ..., Pk - стохастические матрицы одного порядка. Словом длины t назовем произведение t матриц (не обязательно различных) из этого набора. Пусть все слова
- регулярные матрицы. Тогда для любого є > 0 существует такое натуральное v(є), что для любого слова H длины t ^ v(є) выполняется m(H) < є.
Таким образом, если каждая матрица Pi, i = 1,..., k, является регулярной, то при росте w разница между строками матриц сходит на нет. В [43] отмечается, что одного лишь условия регулярности (SIA) матриц Pi для получения этого вывода недостаточно. Так, в следующем примере (где * обозначает ненулевые элементы):
* 0 *\ /0 1 0\ /* * *^
1 0 0 110 0 11 = I 0 1 0
0 1 0 * 0 * 0 0 1
приведенном в [12], произведение двух регулярных матриц не является примитивной матрицей.
Перейдем теперь к более сложным моделям согласования характеристик.
3.3. Дискретная модель согласованного движения по плоскости В [41] была предложена следующая модель движения N автономных агентов по плоскости в разных направлениях. Направление движения (курс) каждого агента в дискретные моменты времени t усредняется им с направлениями движения ni(t) его соседей, находящихся на расстоянии не более r от него и составляющих множество Ni(t). В момент t = 0 положения агентов на плоскости произвольны; агенты имеют одинаковые по модулю и случайные по направлению скорости. Закон движения агентов имеет вид
(9) xi(t + 1) = xi(t) + Vi(t)At.
Скорость агента Vi(t) имеет абсолютное значение v и направление, задаваемое углом s(t). Закон изменения направлений движения сводится к усреднению:
(10) '<* + 1) = râ И + S '№)■
iW jeNi(i)
где ni(t) = |Ni(t)| .
В [28] были получены условия сходимости для различных конфигураций группы агентов.
Занумеруем все простые графы (неориентированные, без петель, невзвешенные) на N вершинах. Пусть P - множество их индексов. Эти графы будем обозначать Gp, p Є P. Обозначим через Ap и Dp матрицу смежности и диагональную матрицу валентностей (степеней вершин) графа Gp, где p Є P. Тогда модель
(10) в матричной форме имеет вид
(11) s(t + 1)= FCT(t) s(t),
где s(t) = [s1,..., ] - вектор направлений движения агентов,
(12) FCT(i) = (/ + DCT(i))-1(/ + ACT(i))
и a(t) : N ^ P - функция, моменту t сопоставляющая индекс неориентированного графа коммуникаций в этот момент. В [28] функция a(t) названа переключающим сигналом. Сходимость каждого состояния s*(t) к s равносильна сходимости s(t) к s 1. Однако процесс может и не сходиться, если, например, для некоторого агента i при любом t Є N множество Ni(t) пусто. В другом крайнем случае, если каждый агент взаимодействует со всеми остальными при всех t, то граф GCT(t) полон, и при любом начальном состоянии процесс сходится. Представляет интерес промежуточный случай, когда не для всех t графы GCT(t) полны. Исследованию этого случая и посвящена работа [28].
Пусть Q С P - множество индексов всех связных графов. Из определения (12) матрицы Fp следует, что она стохастическая и ее диагональные элементы отличны от нуля.
Теорема 5 [28]. Если для всех t Є N a(t) Є Q, то при любом s(0) верно
lim s(t) = s 1,
t
где число s зависит только от s(0) и a(t).
Поскольку в [28] рассматриваются простые (т. е. неориентированные, невзвешенные, без петель) графы, в силу условия теоремы 5 каждая матрица Fp является примитивной, более того, принадлежит классу K2, и ее минимальный положительный элемент не меньше N+1. Поэтому теорема 5 есть частный случай пункта 1 теоремы 1, из которой следует, что аналог теоремы 5 верен также и для ориентированного графа.
Условие теоремы 5 может быть ослаблено. Для этого вводится понятие совместной связности совокупности графов. Графы (G1,..., Gm) совместно связны, если их объединение - связный граф. О связности группы N агентов на временном отрезке [t, т] говорят, если графы (GCT(t), GCT(t+1),..., GCT(r)) совместно связны.
Теорема 6 [28]. Пусть начальное состояние s(0) фиксировано и для функции a(t) имеется бесконечная совокупность последовательных непустых ограниченных интервалов [ti,ti+1), i ^ 0, такая, что на каждом из этих интервалов группа N агентов связна. Тогда
lim s(t) = s 1,
t^<X>
где число s зависит только от s(0) и a(t).
Доказательство этой теоремы основано на теореме Вольфо-вица (теорема 4 выше) и на результате (см. лемму 1 в [28]), согласно которому для любого множества индексов {p1,... ,pm} С P, если Gp1,..., - совместно связные графы, то произведение
соответствующих стохастических матриц есть примитивная матрица.
Пусть P есть (N—1)xN матрица ранга N—1 с ядром, натянутым на вектор 1. Нетрудно доказать10, что матричное уравнение
(13) PFp = FpP, p ЄР
имеет единственное решение Fp с таким спектром Sp(Fp), что Sp(Fp) U {1} = Sp(Fp), из чего следует
(14) PFpiFpi-i • • • Fpo = FptFpi-i • • • FpoP, p Є P.
Сходимость произведения Fpi Fpi_ 1 • • • Fp0 к 1cT равносильна сходимости Fpi Fpi-1 • • • Fp0 к нулевой матрице. Например, если
10Для этого, например, в соотношении (13) матрицу P можно заменить на квадратную, добавив к ней строку [1 ... 1], а Fp - на блочнодиагональную матрицу из двух блоков, один из которых равен Fp, а другой - единичный.
p0, p1,... - бесконечная последовательность индексов, принадлежащих Q, то11 в силу теоремы 4 выполняется
(15) lim Fp.Fp.-! ...Fpo =0.
Отметим, что (15) имеет место, если существует единственная положительно определенная матрица M (общая матрица Ляпунова), для которой все матрицы Fp^MFj, — M, p G Q являются отрицательно определенными (см., например, лемму П.19 в [10] для случая симметричных матриц).
Однако, как отмечается в [28, с. 992], все матрицы Fp, p G Q могут быть стабильными (т. е. иметь спектральный радиус, меньший единицы), но при этом может не существовать общей матрицы Ляпунова M. Поэтому подход авторов статьи, основанный на использовании метода Ляпунова для сходящейся последовательности, не является универсальным.
Преобразуем формулу (12):
(16) F<j(i) = (1 + DCT(t}) 1(1 + ACT(t}) =
= (1 + DCT(i)) 1(1 + DCT(i) — (DCT(i) — ACT(i))) =
= 1 — (1 + DCT(i)) 1(DCT(i) — ACT(i)) =
= 1 — (1 + DCT(i)) 1LCT(i).
Согласно (16) модель (11) представима в виде
(17) s(i + 1) = s(i) — (/ + ^ст(*))-%(*)s(t) = s(t) + u(t).
В [28] величина u(t) = — (1 + DCT(i))-1LCT(i)s(t) трактуется как децентрализованное управление.
Таким образом, здесь используется общая идея децентрализованного управления: для достижения выбранной цели (в данном случае - согласия) состояние каждого агента на каждом шаге корректируется с использованием «невязок» - разностей между характеристиками данного агента и его «соседей». Тем самым, управляющие воздействия формируются не централизованно, а каждым агентом отдельно - на основании его текущего состояния и информации, полученной от «соседей».
11В силу конечности N некоторые матрицы Fp повторяются.
Теорема 6 остается верна, если в (11)-(12) заменить матрицу / + DCT(t) на диагональную матрицу д/, где д > N. Очевидно, что и в этом случае симметричная матрица (см. (16)) Fp = / — 1 Lp, p G P остается стохастической.
Лидером называют агента i, для которого N. = 0. Следуя [28], рассмотрим группу агентов {0, 1, ..., N} с одним лидером; пусть, без ограничения общности, это агент 0. Предположим, как и ранее, что все агенты движутся с одинаковыми и постоянными по модулю скоростями, причем, в отличие от курсов других агентов, курс s лидера остается постоянным. Граф коммуникаций агентов обозначим через Gp (и множество индексов таких графов
- через P), а граф, полученный из Gp удалением вершины 0 и всех инцидентных ей ребер, обозначим Gp. Для каждого агента i G {1,..., N} закон изменения курса имеет вид
(18) s'(i + 1) = 1 + „.(¡н bi(t) (si(i)+ £ sj(i) + b'(i)s)'
jeNi(t)
где b. (¡) = 1, если агент i связан ребром с лидером; в противном случае b.(t) = 0.
Пусть Bp - диагональная матрица порядка N, у которой i-ый диагональный элемент равен 1, если в графе Gp вершины i и 0 связаны ребром. В противном случае i-ый диагональный элемент равен 0. Как и ранее, Ap - матрица смежности графа Gp.
Перепишем (18) в матричной форме:
(19) s(t+1)=(/+DCT(i)+SCT(i)) 1((/+Aст(t))s(¡)+Bст(t)ls),tGNU{0}.
Теорема об условиях сходимости курсов движения всех N
агентов к курсу s лидера (теорема 4 в [28]) аналогична теореме 6. При этом если графы GCT(t), GCT(t+1), ..., GCT(r), относящиеся к интервалу [¡, т], совместно связны, то говорят, что на этом интервале все N агентов связаны с лидером.
В моделях с одним лидером и непрерывным изменением графа коммуникаций часто наблюдается эффект «вибрации» (chattering) положения агентов. Чтобы ее избежать, предполагают, что агенты обмениваются информацией и корректируют свои параметры не постоянно, а через фиксированные интервалы времени Td > 0. Тем самым задача сводится к дискретной, и для нее 484
имеет место следующий результат: пусть Td, s(0) и s фиксированы, а: [0, ж) ^ Pp - кусочно-постоянная функция с моментами «переключений» ¿¿, отстоящими не менее, чем на Td, и существует бесконечная последовательность ограниченных непересекаю-щихся интервалов [¿¿, ¿¿+1], в пределах каждого из которых все N агентов связаны с лидером. Тогда
lim s(t) = s 1.
t^<X>
Следует отметить, что некоторые из перечисленных выше результатов [28] являются частными случаями теорем, полученных другими авторами задолго до этой работы. Так, модель, обобщающая (10), была изучена в работах Тситсиклиса и Бертсекаса (см., например, [39, 17]), что отмечено в их заметке [18].
Замечание 1. Теорема 6 доказана в [28] довольно рутинным методом. Но в этом доказательстве нет необходимости, так как в силу симметричности матриц Fp требуемое утверждение может быть выведено из пункта 1 теоремы 1. Действительно, нетрудно доказать, что если F^.), F^^), ..., FCT(ii+1) - симметричные матрицы, соответствующие совместно связным графам GCT(t.), GCT(ti+1), . . . , GCT(ti+i), то Тг = F<r(fc) - неразло-
жимая матрица с положительными диагональными элементами и Ti G K. Поэтому согласно пункту 1 теоремы 1 соответствующая неоднородная цепь регулярна.
Модель, рассмотренная в данном подразделе, является связующим звеном между первой и второй частями настоящего обзора. Это «еще» дискретная модель, но «уже» модель физического движения. Во второй части обзора будут рассмотрены модели, в которых агенты, совершая групповое движение в евклидовом пространстве, динамически корректируют свои координаты и скорости в непрерывном времени с целью поддержания определенной геометрической конфигурации.
4. Непрерывные модели согласования характеристик
4.1. Модель с коррекцией скоростей
В этом разделе мы обсудим основные результаты из [40, 30, 29, 19, 42], касающиеся процедур построения траекторий, согласованных с заданным курсом и выстраивающих (поддерживающих) предписанную конфигурацию группы объектов.
Предположим теперь, что каждый агент (объект) г из группы N объектов движется в !-мерном пространстве и характеризуется 2!-мерным вектором координат и проекций скорости. В реальных приложениях ! равно 2 или 3.
Пусть X = {1,..., N} х М2^. Каждый элемент г € X характеризуется 2dN действительными координатами. При этом первые 2! компонент задают положение и скорость первого агента, следующие 2! компонент - положение и скорость второго агента и т.д. Каждой нечетной компоненте соответствует координата агента, а четной - проекция его скорости на ту же ось. С помощью кронекерова произведения каждый элемент г € X представляется в виде
N
(20) г = Е е» ® г*,
г=1
где е* - N-мерный вектор с единицей в г-ой позиции и нулями в остальных позициях; гг - вектор координат и проекций скорости г-го агента, имеющий 2! компонент. Если = ($1, ...,
- положение, а гг = (г1, ..., г*)т - скорость г-го агента, то г можно записать в виде
(21) г = Е е* ® (V ® (о) + г* ® (1
Каждому г-му агенту в группе ставится в соответствие свое предписанное положение (место) в группе, задаваемое в виде Нг = (Ь1, ..., ^) € М<*.
Пусть
г = (г1, ...^)т, гг = (в!, г1, ...,4,г^)т, к8 = (^\...,^)т,
где верхним индекс задает номер агента.
Определение 1. 1. Вектором конфигурации группы
агентов называют вектор h є X, определяемый следующим образом [40, 30]:
(22) h = Е е» ® h* ® Г Л .
i=1 ' '
2. Орбита ф : R ^ X группы поддерживает конфигурацию (formation), если для некоторого
а=p ° (?)+q ® (?) ■где q=I-
она представляется в виде
N
ф(£) = h + ^ е* ® а = h + 1n ® а. i=1
3. Группа сходится к заданной конфигурации, если существуют вектор-функции q(-), w(-) : R ^ Rd, для которых имеет место s*(t) — h* — q(t) ^ 0 и v*(t) — w(t) ^ 0 при t ^ ж> для всех i = 1,...,N.
Каждый агент следит за характеристиками своих «соседей»; отношение соседства не меняется. Он непрерывно усредняет (с весами) значения координат соседей, сравнивает результаты усреднения с собственными координатами и полученные разности сравнивает с предписанными значениями. Например, если соседями агента i являются агенты j и k, и веса, с которыми учитываются координаты j и k, равны, то агент i вычисляет d-мерный вектор (s* — h*) — 1/2((sj — hj) + (sk — hk)) и d-мерный вектор v* — 1/2(vj + vk). На основании полученных результатов производится коррекция движения агента посредством «тяги», усилия (thrust).
В общем случае для i-го агента с множеством соседей N*
закон движения имеет вид
( Ь\ = V
(23)
¿4 = ауІ+/^ ((¿І-Ь*|)-(¿І -М))+9^ -V
ІЄМі 4 / ,-сАЛ V
ієЖі
а а уа=ауа+/ е ((4-^аь(4-^¿Л+ 9 е (¿а-¿а)
ієМ 4 7 •ісЛЛ 4 '
ієМ
или в матричной форме
(24) г = (/м 0 А)г + (/м 0 К)(Ьм 0 ^(г - Л),
где Ьм - матрица Кирхгофа орграфа коммуникаций на N вершинах. Элемент ^ < 0 тогда и только тогда, когда г-ый агент получает информацию непосредственно от ] -го агента, т. е. последний является его соседом. В этом случае орграф коммуникаций, соответствующий данной матрице, содержит дугу (_/, г). Поскольку для квадратных матриц А и В соответственно порядка т и п имеет место тождество (/т 0 В)(А 0 /п) = А 0 В, (24) определяет более компактное выражение
(25) г = (/м 0 А)г + (¿м 0 К)(г - Л).
В работе [42] разности между параметрами г-го агента и его соседей задаются матрицей (Ьм 0 /м)(г — Л), а матрица /м 0 К рассматривается как линейный фильтр, с помощью которого может быть обеспечена сходимость к заданной конфигурации.
В данной модели матрица А имеет вид
(26) А = ё1а^ 1 0 1 01
0 а
а в более общем случае (27) А = diag
(28)
‘2І
*22
0а
2І
22
К = diag
В случае /і обозначаем / и 9.
00
/І 9І = /а и 9І
00
/а 9а
9а эти величины
0
1
0
1
и
Определение 2. Достижимым множеством для вершины V орграфа называют множество, полученное объединением
V со всеми вершинами, достижимыми из V. Охват12 К -максимальное достижимое множество.
Очевидно, если орграф сильно связен, то он имеет лишь один охват К.
Далее будем использовать следующую декомпозицию матриц А и К порядка 2^:
4 4
(29) А = £ Аг <В> Л, К = £ Кг <Е> Л,
где Л = ( 1 0 ),* = ( 0 0 ),Л = ( 1 0 ) ,74 =
, причем компоненты А1 и К1 задают связи позиционных элементов с позиционными, А2 и К2 - связи позиционных элементов с компонентами скорости и т.д. При этом из физических соображений можно заключить, что А1 =0 и А2 = /¿. Введем новую переменную у:
(30) у = г - Н - 0 (р 0 (0) + Я 0
Пусть
Н = Е ег 0 ^ (0) + Пг 0 (1)) ,
т. е., в отличие от (22), задаются не только положения, но и скорости.
Предложение 1 (предложение 4.2 в [40]). Пусть орграф коммуникаций группы из N агентов фиксирован. Тогда:
1) система, описываемая уравнением (25), поддерживает заданную конфигурацию тогда и только тогда, когда в (29) А3 = 0; при этом можно положить = 0 для всех к;
2) при заданных конфигурации и скоростях группы имеет место р = я и я = А4я.
12 Не путать с обхватом в теории графов.
00
01
4.2. Задача устойчивости
Следующее определение основано на классической связи между устойчивостью системы (сходимостью ее траекторий) и отрицательностью действительных частей собственных значений матрицы, соответствующей закону ее движения.
Определение 3 [42]. Система, заданная уравнением (25), называется устойчивой, если при некоторой матрице К для каждого ненулевого Л из спектра все собственные значения матрицы А + ЛК имеют отрицательные действительные части.
Теорема 7 [42]. Пусть система (25) устойчива при некоторой матрице управления К. Тогда каждая орбита асимптотически сходится к некоторой орбите в Н + V, где V -подпространство, порождаемое линейными комбинациями векторов (7г 0 р^-} при всех г е {1,..., к} и ] е {1,..., 2^}, 7г -векторы, образующие базис ядра , р^- - независимые решения уравнения рг = Арг.
Определение 4. Непустое подмножество вершин К С
V(С) орграфа С называют его базовой бикомпонентой, если все вершины, принадлежащие К, взаимно достижимы и нет дуг (ад, ад), где ад е К, ад е V(С)\К.
В качестве примера рассмотрим группу из 5 агентов, орграф коммуникаций С которой имеет множество дуг Е(С) = {(1, 2), (1, 3), (3, 4), (4, 3), (5, 4)}. В С две базовых бикомпоненты: {1} и {5}. Предположим, что А4 = а/4 и Н =
(0,1, 2, 3, 4)т 0 . В качестве базиса ядра матрицы возьмем
71 = (1, 1 3, 3, 0) и 72 = (0, 0,1, 2,1).
, общее решение уравнения р = Ар
при а = 0 имеет вид
При начальных условиях р(0) = (р0,Яо) подпространство
V порождается кронекеровыми произведениями указанных выше векторов 71 и 72 на систему независимых частных решений из полного множества решений
уравнения р' = Ар.
Поскольку порядок матрицы А равен двум, число линейно независимых решений вида (31) равно двум. Поэтому размерность пространства устойчивых решений задачи равна четырем.
4.3. Условия устойчивости
Согласно предложению 1, приведенному выше, для управления движением группы агентов может быть использована подходящая матрица А в (25). Покажем, как с помощью матриц Кз и K4 система может быть стабилизирована (т. е. сделана устойчивой) при заданной матрице А.
Пусть
е = min Re(A) > 0.
AeSp(L)\{0}
Предположим, что А не меняется со временем. Диагональные элементы матриц A4, К3 и К4 обозначим соответственно через и gm, где 1 ^ m ^ d.
Предложение 2 (предложение 5.1 в [40]). Для заданной матрицы А4 система всегда может быть стабилизирована; для этого достаточно выбрать (gk, Д) такими, чтобы выполнялось Д < 0, gk < 0, Д > —gk(egk + ak) для всех k e {1,...,d} {эквивалентное условие: Д < 0, gk < 0 и e > max{-(Д + afcgfc)/g|, 0}).
Критерий устойчивости системы (25) имеет более сложный вид [30]; см. подраздел 4.5.
В силу приведенных выше результатов для коррекции скоростей агентов может быть использована матрица А4. Так, средние скорости системы qo и qi в моменты t = 0 и t = 1 связаны соотношением qi = eA4 qo. Отметим, что для диагональной матрицы
A4 отдельные проекции скорости не могут при данном подходе менять знак. Кроме того, использование (31) ограничивается тем фактом, что физические характеристики лишь краткосрочно могут расти экспоненциально.
В заключение этого подраздела приведем пример, в котором система с заданной конфигурацией может менять направление движения. Предположим, что d = 2, K3 = //¿, K4 = gId, и система движется по окружности на плоскости.
Теорема 8 (теорема 5.2 в [40]). Пусть а0 > 0 фиксировано,
/ < 0, gfc < 0 и / > —gfc(egfc + ао). Если A4 = ^ 0™)
и |m| ^ 2\J|/ + e2gjl| =0, то группа устойчиво движется по окружности кривизны к = m/v0 с постоянной скоростью
V0 = 0.
4.4. Оценивание скорости сходимости к заданной конфигурации Согласно определению 3 система, заданная уравнением (25), может не быть устойчивой даже при чисто действительном спектре матрицы Ln . Это происходит, если собственные значения некоторых диагональных (2 х 2)-блоков матрицы A + AiK при действительных Ai, принадлежащих спектру Ln, имеют неотрицательные действительные части.
Среди собственных значений матрицы системы (25) могут быть комплексные. Характеристический многочлен системы равен произведению квадратных трехчленов
(32) x2 - (а22 + Ag)x - А/,
где /, g - элементы матрицы управления K. Дискриминант уравнения х2 — (а22 + Ag)x — А/ = 0 есть
(33) D = (а22 + Ag)2 + 4А/.
Чтобы не допустить приближения13 к 0 действительной части собственного значения соответствующего диагонального блока, /
13 Это приближение привело бы к замедлению (за счет корня (32), в запись которого дискриминант входит со знаком +) сходимости к заданной конфигурации.
при фиксированном д подбирают так, чтобы дискриминант (33) был отрицателен и соотношение
(34) <аН±Лд>2 < -/
выполнялось для всех Л из спектра .
Таким образом (см. утверждение 6.1 в [30]) действительные части корней (32) равны (а22 + Лд)/2, и показателем качества сходимости может служить величина (а22 + Л1д)/2, где Л1 - наименьшее собственное значение матрицы с действительным спектром.
Спектр матрицы для симметричного орграфа коммуникаций всегда действителен. Но изложенный подход применим не только к симметричным орграфам, но и ко всем другим орграфам коммуникаций, имеющим действительный спектр соответствующей матрицы. Отметим, что известный прием, состоящий в увеличении скорости сходимости за счет колебаний, в этой задаче не всегда применим.
4.5. Необходимое и достаточное условие устойчивости
В этом подразделе мы рассмотрим критерий устойчивости системы с ориентированным графом коммуникаций между агентами.
В [29] показано, что если при некоторой матрице управления К для любой заданной конфигурации Н каждое решение системы уравнений (25) сходится к Н, то для матрицы А верно а21 = 0
г = 1,..., ^.
Как было отмечено в [30] (замечание 4.3), если нуль - собственное значение с алгебраической кратностью 1, то агенты поддерживают заданную конфигурацию Н тогда и только тогда, когда (£^ 0 /м)(ж — Н) = 0. Действительно, ядро матрицы натянуто на вектор 1 е , а ядро 0 /м - на векторы 1 0 ei, где ^} - стандартный базис в М2^.
Если нуль - простое собственное значение матрицы орграфа коммуникаций (или, эквивалентно, если орграф коммуникаций содержит входящее корневое дерево для случая, когда дуги проводятся от лидеров и строится лапласовская матрица или же
493
содержит исходящее корневое дерево, если дуги проводятся к лидеру и строится матрица Кирхгофа [1, 22, 13]), то, как показано в [30] (теорема 4.4), устойчивость матрицы А+АК для всех ненулевых А эквивалентна14 сходимости процесса, описываемого (25), к вектору заданной конфигурации Л.
Матрица А + АК блочно-диагональна и каждый ее блок, повторяющийся (I раз, имеет размерность 2. Заметим, что определитель каждого такого блока выражается трехчленом <^(ж) = ж2 — (а22 + Ад)ж — А/, коэффициенты которого в общем случае комплексны. Если и = и1 + и2і - корень ^>(ж), то и = и1 — и2і
- корень многочлена <А(ж) = ж2 — (а22 + Ад)ж — А/. Многочлен <^(ж) устойчив тогда и только тогда, когда устойчив многочлен ^>(ж)<А?(ж). Последний многочлен имеет четвертую степень и действительные коэффициенты. Для проверки его устойчивости в
[30] используется критерий Рауса-Гурвица. Напомним, что согласно этому критерию для того, чтобы действительные части всех корней многочлена были отрицательны, необходимо и достаточно, чтобы все последовательные главные миноры матрицы Гурвица, составленной из коэффициентов многочлена, были положительны. Для нахождения значений / и д (элементов матрицы К), гарантирующих устойчивость многочлена <^(ж)у>(ж), согласно утверждению 4.5 из [30] нужно решить следующую систему из четырех неравенств15 относительно / и д (все остальные параметры постоянны и А = а +
В [42] показано, что если в системе уравнений движения
14 Эта теорема в одну сторону доказана в [29] (предложение 4.3), где установлено, что если нуль - простое собственное значение матрицы
орграфа коммуникаций, то из устойчивости матрицы А + АК для всех ненулевых А следует Ъ(ж — Л) ^ 0. Однократность нуля как собственного значения в формулировку предложения 4.3 не входит, но, судя по доказательству, неявно предполагается.
15 Левые части этих неравенств есть определители Гурвица.
—2а/ + (а22 + ад)2 + в2д2 > 0
а22а/ + (а2 + в2)/д > 0
—а/(а22 + ад)2 — в2/д(«22 + ад) — в2/2 > 0
группы на плоскости матрица А задается как16
/0 1 0 0 \ а 0 °22 0 т
(36) А = 0 0 0 1
\0 — т 0 а44/ то при действительном спектре матрицы коммуникаций устойчивость матрицы А + ЛК (т. е. отрицательность всех действительных частей спектра) не зависит от т, и для нее достаточно, чтобы числа / и д были отрицательными.
Для сходимости системы при не полностью действительном спектре кроме отрицательности / и д требуется выполнение следующих дополнительных условий (см. утверждение 4.4 в [42]):
— ¿<12 (а2 + в2);
|т| < —/|в| д(а2 + в2)
да |в |
для всех не действительных собственных значений Л = а + гв матрицы коммуникаций.
4.6. Группа с независимыми лидерами
В этом подразделе рассмотрим поведение группы, члены которой следят за лидерами (т. е. агентами I, для которых N = 0), чьи орбиты - заданные функции времени. Такие лидеры называются независимыми. Лидер, не являющийся независимым, называется зависимым. Движение зависимого лидера I, положение и скорость которого обозначим через ж и гг, определяется уравнениями
(37) Жг = гг, гг = А4гг.
По определению, каждое максимальное исходящее дерево орграфа коммуникаций может содержать не более одного лидера.
16 В этом случае группа объектов движется по окружности с кривизной т/г0, где г0 - скорость группы.
Предположим, что хотя бы один из лидеров является независимым, т. е. имеет заданную априори орбиту
^(¿) = (^ (1) .
Пусть имеется N + к агентов, из которых к - независимые лидеры. Множество вершин, соответствующих независимым лидерам, обозначим через С. Для каждого I е С положим Нг = 0, т. е. положения лидеров без ограничения общности предполагаются равными нулю (вообще говоря, Н1 определяется из (22)). Из соответствующей матрицы Ь«+& размерности N + к удалим все строки, которые соответствуют независимым лидерам. Через и обозначим г-й столбец матрицы порядка N х ^ + к). Наконец, пусть Р = Р« - матрица, полученная из матрицы порядка N х ^ + к) удалением столбцов, соответствующих независимым лидерам. Как и ранее, г - вектор положения-скорости для агентов 1,..., N. Установлена следующая
Лемма 2 (лемма 6.2 в [40]). Движение группы с множеством С независимых лидеров описывается уравнением
(38) г = (/« 0 А)г + (Р« 0 К)(г — Н) + £ Рг 0 (Кгг^)).
1ес
Проведя замену переменных у = г — Н, получаем
(39) у = (/«0 А + Р« 0 К)у + д(£) = Му + д(£).
Пусть С = Ук=1 Р^ - представление графа в виде объединения всех охватов Р^. Проиндексируем множество охватов и определим множество I следующим образом: г е I ^ (Р^ не содержит независимого лидера).
Предположим, что (7г}ге! - множество линейно независимых собственных векторов, соответствующих нулевым собственным значениям матрицы Ь«.
Теорема 9 (теорема 6.4 в [40]). Пусть матрица управления К обеспечивает устойчивость системы. Предположим, что Ур(^ - произвольное частное решение системы (39). Тогда каждая орбита асимптотически сходится к орбите вида Н + ур(£) + V, где V - линейная оболочка векторов (7^ 0 р^-}гех,^е{1,...,2^}, 7г 496 ’
принадлежит ядру Ь«+к, а р1,..., р2^ есть 2^ линейно независимых решений системы уравнений р.,- = Ар^-.
Общий вид
решения системы уравнений (39) есть сумма любого частного решения и общего решения однородной системы линейных дифференциальных уравнений
Тем самым, теорема 9 может быть доказана тем же способом, что и теорема 7.
Устойчивость при децентрализованном управлении группой объектов, движение которых описывается уравнением
обеспечивается [40, 30] выбором матрицы управления К. После замены переменных и приведения матрицы /« 0 А + (Ь« 0 К) к блочно-диагональному виду [30] необходимое и достаточное условие устойчивости может быть получено применением критерия Рауса-Гурвица к диагональным блокам вида
где Лг - ненулевые собственные значения (не обязательно действительные) матрицы Кирхгофа орграфа коммуникаций. Как следует из предложения 4.5 в [30], действительность собственных значений Лг существенно упрощает условие устойчивости и оставляет большую свободу выбора элементов матрицы управления К, действующей однородно по отношению ко всем агентам. Необходимое и достаточное условия действительности спектра для одного специального класса орграфов (а именно, для орграфов с кольцевой структурой) получены в [16]. Ряд характеристик переходных процессов системы, таких как затухание, степень устойчивости, колебательность (см., например, [14, с. 211]),
(40)
і = (/^ ® А)г + (Ъ^ ® К)(г — Л),
(41)
0 1 Аі/1 а22 + Аі/2
в децентрализованном управлении также связаны с спектром матрицы Ь« орграфа коммуникаций. Как следует из [30], для отсутствия колебаний необходима действительность спектра орграфа коммуникаций. При этом условии скорость сходимости группы к заданной конфигурации зависит как от элементов матрицы К, так и от минимального ненулевого собственного значения матрицы Ь« (см. предложение 6.1 в [30]). Достаточное условие устойчивости, выполнение которого зависит от величины минимальной действительной части собственного значения Ь«, дано в предложении 6.1 в [40].
5. Заключение
В настоящем обзоре основное внимание было уделено двум направлениям в литературе по децентрализованному управлению многоагентными системами. Это, во-первых, работы, где анализ дискретных моделей согласования характеристик опирается на классические результаты теории цепей Маркова и стохастических матриц, и, во-вторых, работы по управлению совместным движением объектов в евклидовом пространстве с выстраиванием (поддержанием) заданной конфигурации.
Никоим образом не претендуя на полноту (как уже отмечалось во введении, в середине 2000-х годов поток работ по теоретико-графовым моделям децентрализованного управления приобрел лавинообразный характер, и в нем можно выделить целый ряд «подпотоков»), в заключение упомянем некоторые другие существенные исследования (см. также обзор в [13]).
В начале 2000-х годов проблема децентрализованного управления группой движущихся объектов со структурой информационных связей, задаваемой графом, изучалась в [24, 25]. В [33] исследовалась проблема достижения согласия при фиксированной и меняющейся (посредством переключений) топологии коммуникаций. Рассмотрены протоколы согласования без временной задержки и с временной задержкой, и для обоих случаев получены условия сходимости. При этом специальное внимание уделено случаю, когда орграф коммуникаций сбалансирован. Отме-498
тим, что в указанной работе авторы «переоткрывают» некоторые результаты по алгебраической теории ориентированных графов, полученные в [1, 2] и известные им по переписке с авторами настоящего обзора (подробнее см. в [21]).
Исследуя алгебраическую связность в сетях «малого мира» (small-world networks) Р. Олфати-Сабер [31] рассматривает способы существенного увеличения этого показателя, что, в свою очередь, значительно ускоряет процесс достижения консенсуса. В работе также изучено соотношение между связностью сети и ее устойчивостью по отношению к неисправностям узлов и линий связей. Упомянем также работу [32], где приведен обзор исследований по проблемам достижения согласия и кооперации в сетевых многоагентных системах.
Еще в одном обзоре [37], посвященном информационному согласию в многоагентном кооперативном управлении, рассматриваются задачи сходимости процедур согласования характеристик при фиксированной и меняющейся структуре связей, а также асинхронные процедуры с временной задержкой обмена данными. Последний раздел этой работы посвящен синтезу алгоритмов согласования. Проблема консенсуса для дискретных и непрерывных моделей с меняющейся структурой связей исследовалась также в [35]. Результаты этой работы пересекаются с результатами [28], которые частично обсуждались выше. В частности, речь идет о теореме, согласно которой для достижения согласия в системе с меняющейся структурой связей достаточно, чтобы в определенных временных интервалах объединение графов коммуникаций содержало остовное дерево на множестве всех вершин, соответствующих агентам.
В недавней работе [34] был предложен вычислительный алгоритм для согласования траекторий при ограничениях, наложенных на управление. Этот алгоритм обеспечивает согласование траекторий в случае, когда лидеры группы и структура связей меняются. Алгоритм был применен для согласования траекторий движения роботов. Реализации протоколов согласования траекторий агентов посвящена и работа [38]. Отметим, наконец, моно-
графию [36], которая подытоживает результаты работ по децентрализованному управлению, проведенных до 2008 г. активной группой исследователей из государственного университета штата Юта в США.
Среди русскоязычных работ по различным аспектам управления групповым движением упомянем здесь [5, 7, 9, 15]. Разумеется, отечественные исследования по данной проблематике, практически неизвестные на Западе, требуют отдельного рассмотрения и изложения в ведущих международных изданиях. В противном случае не подозревающим об их существовании западным авторам ничего не останется, как постепенно переоткрывать все полученные в них результаты.
Литература
1. АГАЕВ Р. П., ЧЕБОТАРЕВ П. Ю. Матрица максимальных исходящих лесов орграфа и ее применения // Автоматика и телемеханика. - 2000. - №9. - С. 15-43.
2. АГАЕВ Р. П., ЧЕБОТАРЕВ П. Ю. Остовные леса орграфа и их применение // Автоматика и телемеханика. - 2001. -№3. - С. 108-133.
3. БАРАБАНОВ И.Н., КОРГИН Н.А., НОВИКОВ Д. А., ЧХАРТИШВИЛИ А. Г. Динамические модели информационного управления в социальных сетях // Автоматика и телемеханика. - 2010 (в печати).
4. БЛЮМИН С. Л. Мультиагентные системы: проблемы и протоколы согласия, псевдообращение лапласианов графов // Системы управления и информационные технологии. - 2007. - №2(28). - С. 4-9.
5. ГАБАСОВ Р., ДМИТРУК Н.М., КИРИЛЛОВА Ф.М. Оптимальное децентрализованное управление группой динамических объектов // Журнал вычислительной математики и математической физики. - 2008. - Vol. 48, №4. - С. 593609.
6. ГАНТМАХЕР Ф. Р. Теория матриц. - 3-е изд. - М.: Наука, 1988.- 576 с.
7. ЗОЛОТУХИН Ю. Н., КОТОВ К. Ю., НЕСТЕРОВ А. А. Децентрализованное управление подвижными объектами в составе маневрирующей группы // Автометрия. - 2007. -Vol. 43, №3.-C. 31-39.
8. КОЛМОГОРОВ А. Н. Об аналитических методах в теории вероятностей // Успехи математических наук. -1938. - №5.-С. 5-41.
9. КУРЖАНСКИЙ А. Б. Задача управления групповым движением. Общие соотношения // Доклады РАН. - 2009. -Vol. 426, №1. - C. 20-25.
10. ПОЛЯК Б. Т., ЩЕРБАКОВ П. С. Робастная устойчивость и управление. - М.: Наука, 2002. - 303 с.
11. РОМАНОВСКИЙ В. И. Дискретные цепи Маркова. - М.-Л.: Гостехиздат, 1949. - 436 с.
12. САРЫМСАКОВ T. A. Об эргодическом принципе для неоднородных цепей Маркова // Доклады Академии наук СССР. - 1953. - Т. 90, №1. - С. 25-28.
13. ЧЕБОТАРЕВ П. Ю., АГАЕВ Р. П. Согласование характеристик в многоагентных системах и спектры лапласов-ских матриц орграфов // Автоматика и телемеханика. -2009. -№3. - С. 136-151.
14. ФЕЛЬДБАУМ А. А., БУТКОВСКИЙ А. Г. Методы теории автоматического управления. - М.: Наука, 1971. - 744 с.
15. ФУНАСИ Р., АРАКОВА М., ТСУДА Ю., КАВАГУЧИ ДЖ. Децентрализованное управление группой спутников с учетом информационного обмена // Труды МАИ (электронный журнал). - 2009. - №9.
16. AGAEV R.P., CHEBOTAREV P.YU. Which digraphs with ring structure are essentially cyclic? // Advances in Applied Mathematics. - 2010. - Vol. 45. - P. 232-251.
17. BERTSEKAS D.P., TSITSIKLIS J.N. Parallel and
Distributed Computation: Numerical Methods //
Englewood Cliffs, NJ: Prentice-Hall, 1989. - URL: http://hdl.handle.net/172L1/3719.
18. BERTSEKAS D.P., TSITSIKLIS J.N. Comments on
“Coordination of groups of mobile autonomous agents using nearest neighbor rules” // IEEE Transactions Automatic Control. - 2007. - Vol. 52, No. 5. - P. 968-969.
19. CAUGHMAN J.S., VEERMAN J.J.P. Kernels of directed graph Laplacians // The Electronic Journal of Combinatorics. - 2006. - Vol. 13. No. 1. R39.
20. CHATTERJEE S., SENETA E. Towards consensus: Some convergence theorems on repeated averaging // J. Appl. Probab. - 1977. - Vol. 14. - P. 89-97.
21. CHEBOTAREV P. Comments on “Consensus and cooperation in networked multi-agent systems” // Proc. IEEE. - 2010. -Vol. 98, No. 7. - P. 1353-1354.
22. CHEBOTAREV P., AGAEV R. Forest matrices around the Laplacian matrix // Linear Algebra Appl. - 2002. - Vol. 356. -P. 253-274.
23. DeGROOT M. H. Reaching a consensus // J. Amer. Statist. Assoc. - 1974. - Vol. 69, No. 345. - P. 118-121.
24. FAX J. A., MURRAY R. M. Graph Laplacians and Stabilization of Vehicle Formations // Proc. 15th IFAC World Congress on Automatic Control, Barcelona, Spain. - 2002.
25. FAX J. A., MURRAY R. M. Information flow and cooperative control of vehicle formations // IEEE Transactions Automatic Control. - 2003. - Vol. 49, No. 9. - P. 1465-1476.
26. HAJNAL J. The ergodic properties of non-homogeneousfinite Markov chains // Proc. Cambridge Philos. Soc. - 1956. -Vol. 52. - P. 67-77.
27. HAJNAL J. Weak ergodicity in non-homogeneous Markov chains // Proc. Cambridge Philos. Soc. - 1958. - Vol. 54. -P. 233-246.
28. JADBABAIE A., LIN J., MORSE A. S. Coordination of groups of mobile autonomous agents using nearest neighbor rules // IEEE Transactions Automatic Control. - 2003. -Vol. 48, No. 6.-P. 988-1001.
29. LAFFERRIERE G., CAUGHMAN J. S., WILLIAMS A. Graph theoretic methods in the stability of vehicle formations
// Proc. American Control Conference ACC2004, July 2004. -P. 3729-3734.
30. LAFFERRIERE G., WILLIAMS A., CAUGHMAN J. S., VEERMAN J. J. P. Decentralized control of vehicle formations // Sys. Control Lett. - 2005. - Vol. 54, No. 9. - P. 899-910.
31. OLFATI-SABER R. M. Ultrafast consensus in small-world networks // Proc. American Control Conference. - 2005. -P. 2371-2378.
32. OLFATI-SABER R.M., FAX J.A., MURRAY R.M. Consensus and cooperation in networked multi-agent systems // Proc. IEEE. - 2007. - Vol. 95, No. 1. - P. 215-233.
33. OLFATI-SABER R. M., MURRAY R. M. Consensus problems in networks of agents with switching topology and time-delays // IEEE Transactions Automatic Control. - 2004. - Vol. 49, No. 9. - P. 1520-1533.
34. REN W. Consensus tracking under directed interaction topologies: Algorithms and experiments // Transactions Control Systems Technology. - 2010. - Vol. 18, No. 1. -P. 230-237.
35. REN W., BEARD R. W. Consensus seeking in multiagent systems under dynamically changing interaction topologies // IEEE Transactions Automatic Control. - 2005. - Vol. 50, No. 5. - P. 655-661.
36. REN W., BEARD R. W. Distributed Consensus in MultiVehicle Cooperative Control. - London: Springer-Verlag. -2008.
37. REN W., BEARD R.W., ATKINS E.M. Information consensus in multivehicle cooperative control // IEEE Control Syst. Magazin. - 2007. - Vol. 27, No. 2. - P. 71-82.
38. REN W., CHAO H., BOURGEOUS W., SORENSEN N., CHEN Y.Q. Experimental validation of consensus algorithms for multivehicle cooperative control // Transactions Control Systems Technology. - 2010. - Vol. 16, No. 4. - P. 745-752.
39. TSITSIKLIS J.N., BERTSEKAS D.P., ATHANS M. Distributed asynchronous deterministic and stochastic
gradient optimization algorithms // IEEE Transactions Automatic Control. - 1986. - Vol. AC-31, No. 9. - P. 803-812.
40. VEERMAN J. J. P., LAFFERRIERE G., CAUGHMAN J. S., WILLIAMS A. Flocks and formations // J. Statistical Physics. - 2005. - Vol. 121, No. 5-6. - P. 901-936.
41. VICSEK T., CZIROK A., BEN JACOB E., COHEN I., SCHOCHET O. Novel type of phase transitions in a system of self-driven particles // Phys. Rev. Lett. - 1995. - Vol. 75. -P. 1226-1229.
42. WILLIAMS A., LAFFERRIERE G., VEERMAN J. J. P. Stable motions of vehicle formations // Proc. 44th IEEE Conference on Decision and Control, December 2005. - P. 7277.
43. WOLFOWITZ J. Products of indecomposable, aperiodic, stochastic matrices // Proc. Amer. Math. Soc. - 1963. -Vol. 15. - P. 733-736.
CONVERGENCE AND STABILITY IN CONSENSUS AND COORDINATION PROBLEMS (A SURVEY OF BASIC RESULTS)
Rafig Agaev, Institute of Control Sciences of RAS, Moscow, Candidate of Science, senior researcher, senior lecturer (agaraf@rambler.ru).
Pavel Chebotarev, Institute of Control Sciences of RAS, Moscow, Doctor of Science, leading researcher (pavel4e@gmail.com, Moscow, Profsoyuznaya str., 65, (495)334-88-69).
Abstract: This paper is a survey of the basic results on coordination and consensus seeking in multiagent systems and on the stability of the corresponding algorithms. The first part of the paper is devoted to the consensus problem in the discrete time. The second part deals with more general problems of coordination in which every agent is characterized by 2d parameters in the Euclidean space of dimension d. These parameters are the coordinates and velocity components of the agents. We discuss procedures of determining the trajectories converging to a given course and obeying a prescribed geometric configuration of the agents (the agents are moving in formation). The dynamically adjusted speed of each agent is a function of the current parameters of this agent and its ’’neighbors.” The information links between agents are determined by a communication digraph. To stabilize the system, linear feedback is used. The stability of motion is studied in terms that characterize the connectivity of the communication digraph.
Keywords: multi-agent systems, decentralized control, communication digraph, consensus, coordination, Laplacian spectrum, DeGroot model, stability, control.
Статья представлена к публикации членом редакционной коллегии А. Г. Чхартишвили
