CC BY
11удк: 519.16 msc2010: 90c27
ПРИКЛАДНЫЕ ЗАДАЧИ МНОГОАГЕНТНОЙ МАРШРУТИЗАЦИИ
© М. С. Германчук
КРЫМСКИЙ ФЕДЕРАЛЬНЫЙ УНИВЕРСИТЕТ ИМ. В. И. ВЕРНАДСКОГО ФИЗИКО-ТЕХНИЧЕСКИЙ ИНСТИТУТ
просп. Академика Вернадского, 4, Симферополь, 295007, Российская Федерация
e-mail: m.german4-uk@yandex.ru
Applied tasks of multiagent routing problems.
Germanchuk M. S.
Abstract. Applied network tasks of multiagent routing or mTSP arise in many application areas and lead to various models of pseudo-Boolean optimization. Such problems, as a rule, are NP-hard, for them exact algorithms are applicable only in the case of a small dimension of the original network (graph). Multiagency can be contained in the initial formulation or arise as a result of simplifying and reducing the dimension of the problem (decomposition, clustering). Models of such tasks in the author's works arose when planning multi-day tourist routes to attractions; choosing routes by agents in emergency situations (when the infrastructure network may change); when using unmanned aerial vehicles, drones mTSP to build routes; in tasks of traversing clusters (bypassing communities social networks).
Depending on the class of applied tasks, the scenarios of their research are specified. The following scenario is typical:
1. Formalization of models of applied multiagent routing problems in the form of single- or multi-criteria pseudo-Boolean optimization problems. Building a hierarchy of simplified models. Accounting for specifics mTSP.
2. Analysis of the original complex network taking into account NP-complexity mTSP on this network. With the help of polynomial algorithms, the network structure is specified: metric and statistical characteristics of the network are found; bridges, points of articulation, bottlenecks (minimal cuts); histograms of the distribution of weight coefficients of arcs of the network graph, etc.
3. A simpler network (projection onto a plane; overflight, monitoring network) is matched to the source network, or the clustering of the network is performed in accordance with mTSP.
4. Exact and approximate algorithms on clusters are used; compositions of algorithms (heuristics, metaheuristics, genetic algorithms, etc.).
5. Iterative refinement of the solution mTSP is performed based on individual solutions of agents.
The elements of the scenario are given in the work. The results of network clustering consistent with mTSP, a comparative analysis of algorithm compositions are shown. It is
important in the research process to take into account all available information, facts, knowledge, and precedents both for building a hierarchy of models and for developing practical algorithms for solving them. In addition to these approaches, it is promising to use a class of polynomial solvable mTSP in the form of pseudo-Boolean optimization models with separable objective functions and constraints in the form of disjunctive normal form (DNF) having a limited constant length. Despite the fact that in the general case the reduction of mTSP with DNF constraints is exponential, it is necessary to distinguish a class of problems that are relatively easily reduced to the form with DNF constraints. Synthesis of a model with DNF constraints on the initial data can be carried out approximately. In this case, the complexity of such an approximation turns out to be polynomial. The number of conjunctions in the extracted DNF does not exceed the number of examples in the original case information.
The proposed research scenario mTSP may be promising for the development of intelligent multiagent systems of applied routing.
Keywords: multiagent traveling salesman problems (mTSP), applied routing algorithms, TSP clustering.
Введение
Интерес к многоагентным задачам маршрутизации на сложных сетях связан с их широким применением. Это прежде всего задачи построения кратчайших маршрутов и задачи типа многих коммивояжеров (multiagent traveling salesman problems, mTSP). В отличие от классической задачи коммивояжера в многоагентных задачах сложной может быть структура сети и функциональность агентов [1, 2, 4, 7, 12]. Многоагентные модели, как правило, являются моделями условной псевдобулевой оптимизации в однокритериальной, многокритериальной или игровой постановках [3, 5, 15]. Матрицы весовых коэффициентов дуг (ребер) сети могут быть общими для всех агентов, меняться в процессе решения или быть разными для каждого агента (в изменяющихся условиях, с разными предписаниями для агентов и др.) Ряд задач инспирировано новыми технологиями, применением БПЛА (дронов) для поиска маршрутов или их мониторинга. Разнообразие задач mTSP возникает при прокладке маршрутов на поверхности с различными препятствиями [10, 11]. В данной работе ограничиваемся сложными сетями с графовой структурой и гипотезой о возможности снижения сложности решения задач многоагентной маршрутизации за счет построения упрощающих моделей, согласованной с mTSP кластеризации (декомпозиции), применения композиций точных алгоритмов и метаэвристик [6, 8, 9, 16], а также выделение классов полиномиально разрешимых задач типа mTSP. Предложенная гипотеза определяет различные сценарии исследования прикладных задач многоагентной маршрутизации.
1. МОДЕЛИ и СЦЕНАРИИ ИССЛЕДОВАНИЯ ЗАДАЧ ПРИКЛАДНОЙ МНОГОАГЕНТНОЙ МАРШРУТИЗАЦИИ
1.1. В зависимости от обобщений и формализации тТБР на сложной сети возможны различные сценарии их исследования. Важным является этап анализа и упрощения самой сети, который начинается с изучения метрических характеристик сети (см. рис. 1):
Метрические характеристики сложной сети
— Максимальный (минимальный) средний путь в сети
— Критические места в сети
— Характеристики потоков в сети
— Метрики определения кластеров
— Коэффициент кластеризации
Характеристики блоков, компонент (связных), мостов, точек сочленения, перемычек, висячих вершин
Статистические характеристики распределения весовых коэффициентов (длин дуг) сети (гистограммы)
Характеристики разряженности сети (параметры), особенности структуры
Рис. 1. Характеристики сети тТБР
Алгоритмы, с помощью которых вычисляются параметры (характеристики) сети, связные компоненты, мосты, точки сочленения, висячие мосты и др., являются полиномиальными. С их помощью можно упростить исходную сеть и более точно определить набор алгоритмов решения тТБР.
1.2. Модели многоагентной маршрутизации типа тТБР в прикладных задачах на сложных сетях могут учитывать интеллектуальность, независимость, коллективную работу по достижении общей цели, конкурентность, противодействие агентов. Интеллектуальные агенты (ИА) могут развиваться и совершенствоваться, обмениваться информацией и использовать извлекаемые (априорные, дополнительные, прецедентные) знания. При решении задачи в распоряжении ИА могут находиться однотипные агенты нижнего уровня с очерченными правилами поведения, аналоги природных агентов (колония муравьев, рой пчел, косяк рыб, светлячки и др.). Таким
образом, естественно возникает этап моделирования интеллектуального управления как агентами-коммивояжерами, ИА, так и однотипными агентами нижнего уровня.
1.3. Снижение размерности mTSP. Рассмотрим случай разбивки исходной сложной сети на кластеры, согласованные со структурой сети и решением TSP индивидуальными агентами. В результате численных экспериментов [6, 8] выявлено, что в зависимости от структуры сети можно выделить:
1) декларативную кластеризацию, которая задает список вершин каждому коммивояжеру заранее (учитываются сложившиеся структуры сети и управления ими);
2) кластеризацию в результате решения линейной задачи о назначении, которая полиномиально разрешима;
3) K-means кластеризацию и ей подобные, применяемые для снижения размерности (метод главных компонент), агломеративную иерархическую кластеризацию;
4) жадные алгоритмы кластеризации, полиномиальные эвристики;
5) кластеризацию с помощью построения минимальных разрезов;
6) использование максимальных разрезов (MAX-CUT, алгоритмы MAX-CUT в общем случае не являются полиномиальными) и др. В приложениях возникает необходимость применения комбинаций алгоритмов и синтеза схем кластеризации на базе всей имеющейся информации.
В наиболее простом случае под синтезом алгоритмов кластеризации и решения TSP будем понимать использование любого алгоритма кластеризации для получения начального разбиения исходного графа на подграфы и любого алгоритма решения TSP. В общем случае алгоритм выглядит следующим образом.
Синтез алгоритмов кластеризации и решения mTSP
1. Для исходного графа ввести нужное количество кластеров m и их центры.
2. Найти начальное разбиение графа на m кластеров с использованием текущих центров.
3. Если начальное разбиение на текущих центрах оказалось неприемлемым, то подобрать новые центры (например, с помощью K-means).
4. Переопределить кластеры с помощью механизма «перебрасывания» вершин (обмен информацией между агентами).
5. На каждом кластере найти решение локальной TSP.
6. Найти значение целевой функции для каждого кластера текущего разбиения.
7. Проверить условие сходимости и, если оно не выполнено, вернуться к пункту 4.
В качестве алгоритма для начального разбиения подойдет любой алгоритм кластеризации с четкой принадлежностью вершин. ТБР также может решаться любым известным подходящим алгоритмом. Данный синтез алгоритмов применим не только для ТБР, поскольку целевой функцией может быть целевая функция любой задачи дискретной оптимизации (ДО) на графах, для которой необходимо применить кластеризацию и для которой можно сформулировать условие сходимости алгоритма синтеза.
В программных реализациях применялся алгоритм баланса нагрузки (ЬБЛ), назначение вершин агентам с процедурой ЛС20рЮЛ (см. также работу [9]).
Рассмотрим результаты численной реализации используемых алгоритмов и их модификаций (см. рис. 2, 3). Кроме алгоритмов, непосредственно связанных с численным решением задачи маршрутизации типа тТБР, используются алгоритмы кластеризации, построения разрезов, реоптимизации, в которых учитывается информация о задаче тТБР, т. е. используется композиция алгоритмов (в зависимости от поступающей информации, в рамках выбранной формализации модели тТБР).
а) б)
Рис. 2. Результат кластеризации синтезом: а) К-тваиз в качестве начального разбиения; б) жадным алгоритмом в качестве начального разбиения
оптимум муравьиный пчелиный рой частиц ал ал мод.
счет: 426 1294.0 1363.7 852.5 968.9 985.9
время: — 70.152 22.348 15.349 40.766 48.11
Оценим поведение алгоритмов на графе Ьгвт127 [14] с 127 вершинами.
оптимум муравьиный пчелиный рой частиц ал ал мод.
счет: 118282 393942 567855.2 386457 436889 433728
время: — 417.4 55.1 375.3 170.9 186.4
• •
• •
/ Я-• •
•-•
• •
• •
%
'м» • • • •
• •
ч -
в о
• л * • • .1
ГТ^ мМп
• «
а)
б)
Рис. 3. Результат кластеризации синтезом: а) К-тваив в качестве начального разбиения; б) жадным алгоритмом в качестве начального разбиения
Как видно, стандартные, не оптимизированные под задачу алгоритмы не приближаются к оптимальному результату, к тому же, серьезно теряют в скорости работы при увеличении размера графа.
Пользуясь достаточно большим числом агентов нижнего уровня, муравьиный (150 агентов, 80 итераций) и алгоритм роя частиц (450 агентов, 1200 итераций), хоть и показывают несколько лучший результат в сравнении с пчелиным и СЛ, но работают гораздо медленнее. В тоже время пчелиный и СЛ показывают лучший результат по времени, но худший по длине маршрута при достаточно большом числе агентов (пчелиный — 550 агентов и 820 итераций, СЛ — 150 агентов, 1000 итераций). Случайность начальной выборки в пчелином и СЛ алгоритмах не позволяют сузить область поиска и обнаружить даже локальный минимум в сколь-нибудь короткие сроки, ввиду огромного числа решений.
Выбирается многоагентный (МА) жадный алгоритм в качестве начальной выборки для пчелиного и СЛ. Используются именно эти алгоритмы в виду адекватности их скорости работы. Результаты средние за 10 тестов.
оптимум пчелиный + МА жадный GA + МА жадный
счет: 118282 130982.7 134458.9
время: — 29.156 11.786
Оптимизация начальной выборки позволяет значительно сократить затраты памяти и ресурсов на увеличение размеров популяции пчел/особей и количества итераций. Как следствие, работа алгоритмов ускорилась при значительном улучшении качества результата.
Разделим граф на две части с помощью нахождения максимального разреза. Результаты средние за 10 тестов.
оптимум пчелиный + МА жадный СЛ + МА жадный
счет1: 118282 103741.4 104098.2
время 1: — 14.969 3.5
счет2: — 91881.3 92243
время2: — 14.8 3.528
сумма: — 195622.7 196341.2
В библиотеке ТБЫБ [13, 14] содержится база тестовых примеров для задачи коммивояжера. Каждый блок тестовых данных содержит в себе список двумерных координат. С помощью этого списка можно построить решение задачи коммивояжера своими методами и сравнить с оптимальным решением, которое также входит в состав тестового примера.
На первом этапе было выбрано несколько тестовых примеров графов небольшой размерности, соответствующих кластеру сложной сети, и проведен численный эксперимент с помощью реализованных алгоритмов. Результаты приведены в табл. 1 [6].
Таблица 1. Результаты работы алгоритмов.
^38 вП51 да194
Муравьиный Найденное решение 7451 572 11657
Затраченное время, сек 223 328 23147
Генетический Найденное решение 7895 559 11367
Затраченное время, сек 156 117 1164
Гибридный Найденное решение 7115 498 10938
Затраченное время, сек 263 448 29234
Имитации отжига Найденное решение 7158 441 10506
Затраченное время, сек 15 20 69
Пчелиной колонии Найденное решение 6656 439 11695
Затраченное время, сек 21 26 645
Оптимальное решение 6656 430 9352
Программа предусматривает наглядную демонстрацию работы алгоритмов, в которой для сравнения приводится изображение неоптимального произвольного маршрута на графе и отображение маршрута, найденного в процессе работы конкретного алгоритма. Например, на рис. 4-6 показаны результаты применения алгоритма имитации отжига (одного из представленных в табл. 1).
44000 -Т°ЧКИ
41500 -I--------
11000 11250 11500 11750 12000 12250 12500 12750 13000
Рис. 4. dj38 после применения алгоритма имитации отжига
О 10 20 30 40 50 60 70 80
Рис. 5. eil51 после применения алгоритма имитации отжига
24800 25000 25200 25400 25600 25800 26000 26200
Рис. 6. Решение алгоритмом имитации отжига qa194
2. Модели mTSP и Алгоритмы решения
2.1. В работах [2-5, 8] рассмотрены модели многоагентной маршрутизации mTSP в виде моделей псевдобулевой условной оптимизации, в частности, с дизъюнктивными ограничениями. Для модели mTSP с ДНФ ограничением существуют полиномиальные алгоритмы решения. Показано, что к такой форме может быть сведена любая mTSP, записанная в виде линейной задачи псевдобулевой условной оптимизации, но такое сведение может быть экспоненциальным. Естественно, что для конкретной ситуации формулировать условия в виде ДНФ ограничений предпочтительнее. Такая формализация возможна при наличии прецедентной информации.
Другой способ снижения размерности (сложности) состоит в согласовании с маршрутами декомпозиции исходной задачи тТБР или кластеризации тТБР на индивидуальные кластеры для каждого коммивояжера (см. раздел 1). В прикладных задачах тТБР возможно упрощение задачи. В работе автора [1] описан обобщенный алгоритм, в котором исходной сети ставится в соответствие более простая сеть, на которой исходная задача тТБР становится полиномиально разрешимой.
Алгоритм прикладной маршрутизации на приведенных сетях
Вход: исходный граф С(У,и) и весовая матрица С.
Выход: приближенное решение задачи на графе 0(У, и).
1. Задать граф С(У,и) и весовую матрицу С.
2. Найти преобразование р : С ^ Ь, т. е. по матрице С построить матрицу Ь с элементами > 0, {%,]) € и.
3. Учесть априорную информацию, запреты и предписания; преобразовать матрицу Ь в матрицу Ь, учитывающую данную информацию.
4. Провести анализ и упрощение матрицы Ь (метрические характеристики; структурные составляющие: мосты, сочленения, висячие вершины; необходимость кластеризации), сформировать упрощенную матрицу Ь.
5. Для упрощенной матрицы Ь решить задачу тТБР.
6. Построить обратное соответствие Ь ^ Ь ^ С и получить вариант решения, проверить на соответствие.
7. Предъявить приближенное решение исходной задачи тТБР.
Например, когда заданы координаты вершин и вместо исходного расстояния между вершинами ставится в соответствие расстояние по прямой /^ между вершинами г и j (задача облета, проекция исходной сети на плоскость). Подобная задача тТБРБ возникает самостоятельно в случае использования агентом-коммивояжером передвигающихся по сети БПЛА (беспилотный летающий аппарат, дрон). В отличие от агентов БПЛА могут не привязываться к депо, а находить замкнутые маршруты, начиная с любой удобной вершины (как депо). Сформулируем тТБРБ в форме псевдобулевого программирования.
2.2. Пусть задано п вершин и т агентов (дронов). Будем использовать трехиндекс-ную запись
{1, если агент k посещает вершину j после i,
п (1)
0, иначе.
min z, (2)
Xfe
n n
Y1 Y1 cij0xij0 ^ z, (3)
i=1 j=1
nn
cijixiji ^ - (4)
i=i j=i
^ ^ ^ ^ cijmxijm ^ (5)
i=1 j=1 n m
jk = 1 j =l,...,n, (6)
i=1 k = 1
nn
"Y^Xisk Xsjk = 0, k = l,...,m, s = l,...,n, (7)
i=1 j=1
n
$>jk = l, k = l,... ,m, (8)
j=1
m
Ui - uj + n Xijk < n - l, Vi = j = 1, (9)
k=1
Xijk G {0, l}, Vi,j,k. (10)
Обычно в mTSP минимизируется общий путь (вес) или общее время в пути. В (2) минимизируется виртуальная переменная z, (3)-(5) максимальный (минимальный) путь каждого агента не превосходят z. Условие (6) означает прохождение вершин только один раз; (8) —только один выход из вершины любым агентом в любую другую вершину; (9) —условие ликвидации субтуров (eliminating sub-tours).
В случае, когда каждый агент минимизирует свой путь, приходим к многокритериальной задаче mTSP
nn
У^ У^ CijkXijk ^ min (11)
i=1 j=1
с условиями (5)-(10). В случае общего минимального веса получаем однокритери-альную модель mTSP
m n n
^ S CiikXiik ^ min (12)
k=1 i=1 j=1
с условиями (5)-(10). Матрицы весов Ck, k = l,m в общем случае разные. В частности они выделяют множества вершин Vk, k = 1,m для каждого агента. Множества Vk могут быть предписаны или находиться в результате кластеризации. В разделе 1.3 кластеризация проведена для всех агентов, т. е. для общей матрицы C = {cij,i,j = 1,n}. В зависимости от согласования с решением агентной TSP на каждом кластере, множество вершин Vk меняется (перебрасывание вершин, обмен информацией между коммивояжерами). Ограничениям (5)-(10) можно поставить в соответствие логическую систему продукций, т. е. заменить условие одним ограничением в виде ДНФ представления. Такое сведение приводит к полиномиально разрешимой mTSP с ДНФ условием [5].
Заключение
Представленные сценарии решения многоагентных задач маршрутизации базируются на выборе подходящих моделей исходных прикладных задач, их упрощении и компромиссных постановках. Упрощение исходной задачи предполагает анализ исходной сложной сети с выявлением структуры (мосты, точки сочленения, висячие вершины и т. п.) для чего используются полиномиальные алгоритмы. А также использование полиномиальных и эвристических алгоритмов решения TSP каждым агентом в рамках упрощенных моделей, кластеризации и согласования кластеризации с TSP на каждом кластере. Подход применим для инфраструктурной многоагентной маршрутизации, иерархической mTSP, сочетания различных агентов (дро-нов и коммивояжеров) и разработки мультиагентных систем маршрутизации
СПИСОК ЛИТЕРАТУРЫ
1. Германчук, М. С. Использование дополнительной информации в задачах дискретной оптимизации типа многих коммивояжеров / М. С. Германчук // Таврический вестник информатики и математики. — 2016. — Т. 33, № 4. — С. 68-82.
GERMANCHUK, M. S. (2016) The use of additional information in discrete optimization problems of the type of many traveling salesmen. Taurida Journal of Computer Science Theory and Mathematics. 4(33). p. 68-82.
2. Германчук, М. С. Задачи практической маршрутизации / М. С. Германчук, М. Г. Козлова, В. А. Лукьяненко // Анализ, моделирование, управление, развитие социально-экономических систем. Сборник научных трудов XI Международной школы-симпозиума АМУР-2017. - 2017. - С. 116-120.
GERMANCHUK, M. S., KOZLOVA, M. G. and LUKIANENKO, V. A. (2017) Practical routing tasks. Analysis, modelling, governance, socio-economic development. p. 116-120.
3. Германчук, М. С. Синтез алгоритмов кластеризации для решения многоагентной задачи коммивояжера / М. С. Германчук, М. Г. Козлова // Таврический вестник информатики и математики. — 2018. — Т. 39, № 2. — С. 49-70.
GERMANCHUK, M. S. & KOZLOVA, M. G. (2018) Synthesis of algorithms of clustering to solve the multiagent traveling salesman problem Taurida Journal of Computer Science Theory and Mathematics. 2(39). p. 49-70.
4. Германчук, М. С. Знаниеориентированные модели маршрутизации многих коммивояжеров / М. С. Германчук, М. Г. Козлова, В. А. Лукьяненко // Интеллектуализация обработки информации: Тезисы докладов 13-й Международной конференции, г. Москва. - 2020. - C. 352-353.
GERMANCHUK, M. S., KOZLOVA, M. G. and LUKYANENKO, V. A. (2020) Knowledge-oriented routing models of many traveling salesmen. Intellectualization of information processing: Abstracts of the 13th International Conference. p. 352-353.
5. Германчук, М. С. Разрешимость задач псевдобулевой условной оптимизации типа многих коммивояжеров / М. С. Германчук // Таврический вестник информатики и математики. - 2020. - Т. 49, № 4. - С. 30-55.
GERMANCHUK, M. S. (2020) Solvability of pseudo-Boolean conditional optimization problems of the type of many traveling salesmen. Taurida Journal of Computer Science Theory and Mathematics. 4(49). p. 30-55.
6. Макаров, О. О. Разработка алгоритмов маршрутизации в сложных сетях / О. О. Макаров, М. С. Германчук // Математика, информатика, компьютерные науки, моделирование, образование: сборник научных трудов научно-практической конференции МИКМО-2018 и Таврической научной конференции студентов и молодых специалистов по математике и информатике / Под ред. В. А. Лукьяненко. — Симферополь : ИП Корниенко А. А., 2018, Вып. 2. — С. 127-135.
MAKAROV, O. O. & GERMANCHUK, M. S. (2018) Development of algorithms for research of complex networks. Mathematics, Informatics, Computer science, Modeling, Education. p. 127-135.
7. BEKTAS, T. (2006) The multiple traveling salesman problem: an overview of formulations and solution procedures. Omega-international Journal of Management Science. 34. p. 209-219.
8. GERMANCHUK, M. S., LEMTYUZHNIKOVA, D. V. & LUKIANENKO, V. A. (2021) Metaheuristic algorithms for multiagent routing problems. Automation and Remote Control. 10 (82). p. 1787-1801.
9. KEFI, S., ROKBANI, N., KROMER, P. & ALIMI, A. M. (2016) Ant supervised by PSO and 2-Opt algorithm, AS-PSO-2Opt, applied to traveling salesman problem. 2016 IEEE International Conference on Systems, Man, and Cybernetics (SMC). p. 004866004871.
10. KENT, T., RICHARDS, S. & JOHNSON, A. (2022) Homogeneous agent behaviours for the multi-agent simultaneous searching and routing problem. Drones. 8(2). p. 51. Available from: https://www.mdpi.com/2504-446X/672/51
11. LI, X., & SAVKIN, A. V. (2021) Networked unmanned aerial vehicles for surveillance and monitoring: a survey. Future Internet. 13. p. 174.
12. MILLER, C. E., TUCKER, A. W. & ZEMLIN, R. A. (1960) Integer programming formulation of traveling salesman problems. J. ACM. 7. p. 326-329.
13. National traveling salesman problems. [Online] Available from: http: / / www.math.uwaterloo.ca / tsp / world / countries.html
14. TSPLIB is a library of sample instances for the TSP (and related problems) from various sources and of various types. [Online] Available from: http://comopt.ifi.uni-heidelberg.de/software/TSPLIB95
15. WOOLDRIDGE, M. J. (1992) The logical modelling of computational multiagent systems. University of Manchester. Institute of Science and Technology.
16. XU, X., YUAN, H., LIPTROTT, M. & TROVATI, M. (2018) Two phase heuristic algorithm for the multiple-travelling salesman problem. Soft Computing. 22. p. 6567-6581.
