CC BY
72
УДК 681.3
ИССЛЕДОВАНИЕ МОДЕЛЕЙ ОРГАНИЗАЦИИ ГРУЗОВЫХ ПЕРЕВОЗОК С ПРИМЕНЕНИЕМ МУЛЬТИАГЕНТНОЙ СИСТЕМЫ ДЛЯ АДАПТИВНОГО ПЛАНИРОВАНИЯ МОБИЛЬНЫХ РЕСУРСОВ В РЕАЛЬНОМ ВРЕМЕНИ1
Н.О. Амелина, А.Н. Лада, И.В. Майоров, П.О. Скобелев, A.B. Царев
Исследованы различные модели организации грузовых перевозок для компаний с собственным парком грузовиков — от наиболее жестких, связанных с возвращением грузовиков на базу после каждой поездки, к более гибким, связанным с ожиданием заказов в пунктах разгрузки, разрешением грузовикам опаздывать с введением штрафов за опоздание и адаптивным перепланированием заказов в реальном времени. Получены графики изменения прибыли во времени для каждой модели, позволяющие на практике показать и оценить преимущества перехода к принятию решений в реальном времени. Исследованы зависимости прибыли компании от числа грузовиков.
Ключевые слова: мультиагентные системы, мобильные ресурсы, адаптивное планирование, грузоперевозки, моделирование, реальное время.
ВВЕДЕНИЕ
Задачи распределения, планирования и оптимизации ресурсов, как правило, решаются при хорошо определенных условиях, когда все заказы и ресурсы известны заранее и не изменяются в ходе решения задачи. Для решения применяется пакетная обработка заказов, как правило, методами перебора, требующими значительных вычислительных затрат [1, 2].
Для решения сложных задач распределения, планирования и оптимизации ресурсов в реальном времени, когда состав заказов и ресурсов может меняться «на лету», особенно задач, плохо поддающихся строгой математической формулировке, в последнее время все чаще применяется мультиа-гентный подход, позволяющий оперативно находить «разумные» допустимые решения благодаря непрерывному адаптивному изменению плана [3, 4].
1 Работа выполнена при финансовой поддержке Российского фонда фундаментальных исследований (гранты 10-08-01015а и 11-07-13119-офи-м-2011-РЖД).
Разрабатываемый нами подход [5] основан на сопоставлении заказам и ресурсам программных агентов с противоположными интересами, способных реагировать на изменения состава заказов и ресурсов, выявлять конфликты в расписании, принимать решения и взаимодействовать между собой для разрешения конфликтов и поиска компромиссов путем переговоров (взаимных уступок), что позволяет находить согласованные решения и поддерживать баланс интересов агентов в интересах компании в целом.
В результате взаимодействия (переговоров) агентов и изменения состояний соответствующих заказов и ресурсов достигается локально оптимальное решение, представляющее собой «устойчивое неравновесие» (или «неустойчивое равновесие»), которое далее в реальном времени при поступлении новых событий (новый заказ, отзыв уже запланированного, поломка грузовика, задержка в пути и др.) вновь локально адаптивно корректируется в «скользящем режиме» без останова и перезапуска системы.
Несмотря на достаточно простые классы базовых агентов и логику их взаимодействия, более подробно описываемых в концепции сетей пот-
ребностей и возможностей («ПВ-сетей») [6, 7], разработанная нами мультиагентная платформа для управления мобильными ресурсами [8] позволяет решать сложные и разнообразные оптимизационные задачи в реальном времени, отличающиеся большим разнообразием элементов и числом связей между ними, причем в условиях априорной неопределенности, сложности в принятии решений и высокой динамики происходящих событий. Одна из них — задача оптимального планирования грузоперевозок в реальном времени, когда от самого момента времени принятия решений о расписаниях грузовиков зависят качество и эффективность предоставления транспортных услуг.
В настоящей работе исследуется решение рассматриваемой задачи на базе специально созданной моделирующей версии мультиагентной системы для управления мобильными ресурсами, позволившей путем модельных экспериментов оценить преимущества перехода к принятию решений в реальном времени.
1. ПОСТАНОВКА ЗАДАЧИ
Пусть имеется парк грузовиков из М машин, базирующихся в определенном городе в некоторой транспортной сети. Стоимость эксплуатации каждого грузовика известна и заранее задана. В систему поступают заказы, характеризующиеся пунктом отправления, пунктом доставки, временем поступления, моментом начала (погрузки), моментом окончания (разгрузки), стоимостью и размером штрафа за опоздание. Расстояния между всеми пунктами также известны и заданы матрицей расстояний.
Требуется составить план грузоперевозок в реальном времени и найти прибыль транспортной компании в зависимости от стратегий планирования и числа грузовиков. Планирование в реальном времени означает, что в каждый момент времени известны только те заказы, которые поступили раньше данного момента. Критерием оптимизации служит максимизация суммарной прибыли.
Исследуем решение поставленной задачи для четырех различных моделей организации процесса грузоперевозок.
2. МОДЕЛИ ОРГАНИЗАЦИИ ПЕРЕВОЗОК
Общая прибыль системы подсчитывается как сумма прибылей всех агентов грузовиков
Р = IР.
Обозначим через N. набор всех заказов, выполненных грузовиком I. Прибыль отдельного агента грузовика
Р =
i {(с, - д^ - д,Гц,
где суммирование выполняется по всем выполненным грузовиком / заказам у, с, — стоимость выполнения заказа у в единицу времени, д, — стоимость переезда грузовика в единицу времени, t.. — время выполнения заказа у грузовиком i, — время переезда для выполнения заказа у.
Модель 1 («с возвращением на базу»). Для заказа бронируется грузовик, в расписании которого на момент поступления заказа есть «окно». Если погрузка осуществляется в другом городе, то грузовик должен прибыть туда ко времени погрузки. Отмена бронирования грузовика под заказ не допускается. После выполнения заказа грузовик возвращается в пункт базирования.
Модель 2 («без возвращения»). После выполнения заказа грузовик не возвращается на базу и остается в пункте назначения, где ожидает следующего заказа.
Модель 3 («опоздания со штрафами»). Допускается планирование заказов с опозданиями, т. е. когда фактический момент начала выполнения заказа позже требуемого заказчиком. Из прибыли вычитается штраф, пропорциональный времени опоздания. Если штраф превышает возможную прибыль от выполнения заказа, то такой заказ не планируется. После выполнения заказа грузовик остается в пункте назначения. Штрафы учитываются следующим образом:
Р(0 = I{(С, - - д,Г,} + I {(Ск - дкцк -1 к
- д, 4 - Рк ^к Ь
где суммирование по индексу у идет по всем выполненным в срок грузовиком / заказам, суммирование по индексу к идет по всем выполненным с опозданием t¡'k заказам, р. — штраф на единицу времени опоздания.
Модель 4 («адаптивное планирование со штрафами») совпадает с предыдущей, однако допускается бронирование грузовика под новый заказ в случае, если прибыль от нового заказа превышает прибыль от прежде запланированного. Таким образом, при поступлении заказа перераспределяются уже размещенные заказы, и ищется новое, более выгодное по прибыли, решение.
3. КРАТКОЕ ОПИСАНИЕ МУЛЬТИАГЕНТНОИ СИСТЕМЫ ПЛАНИРОВАНИЯ ГРУЗОПЕРЕВОЗОК В РЕАЛЬНОМ ВРЕМЕНИ
Специально для данного исследования была создана упрощенная версия моделирующей муль-тиагентной системы (МАС), позволяющая экспериментировать с потоками модельных заявок. Она работает следующим образом. С каждым грузовиком связан агент грузовика, с каждым заказом — агент заказа. Агенты могут отправлять и получать сообщения в среде МАС и принимать решения согласно своей логике и текущей ситуации, которая определяется состоянием каждого агента. В целях наглядности результатов и унификации логики принят единый пространственно-временной масштаб: время отсчитывается от начала моделирования, т. е. от момента поступления первого заказа. Верхняя граница диапазона задается горизонтом планирования в днях. Расстояния приведены к временной шкале делением расстояния на среднюю скорость. Таким образом, может быть учтено состояние и пропускная способность дорог. Поэтому более длинный пространственный путь может быть по времени короче из-за большей скорости движения.
Текущие состояния агентов изменяются и фиксируются в моменты поступления заказов в систему, в моменты начала и окончания их выполнения. Поэтому шкала отсчетов времени в общем случае N заказов состоит из 3N точек.
При поступлении заказа в МАС рассылается запрос на его размещение всем агентам грузовиков, которые анализируют свое текущее состояние, наличие окон в будущем расписании, необходимость дополнительного переезда до пункта погрузки, оценивают свою возможную прибыль и отправляют ответ агенту заказа. Кандидаты на перепланирование (в случае возрастания прибыли) выстраиваются в сцене по максимально возможной прибыли. Заказ получает агент грузовика, дающий максимальную прибыль. Прибыль учитывается как разница между стоимостью заказа и стоимостью транспортировки. Если для выполнения заказа требовался переезд, то его стоимость вычитается из стоимости заказа. Поэтому дорогие заказы, требующие длительных переездов до начала выполнения, могут быть вытеснены более дешевыми, но без дополнительных переездов. В случае стратегии с планированием заказов с опозданиями анализируется влияние штрафа на прибыль. Поскольку штраф пропорционален времени задержки, то заказы с большим опозданием не будут планироваться.
Заказы, находящиеся в прошлом (по отношению к текущему времени), в переговорах (отправке и приёме сообщений) не участвуют.
Такой процесс продолжается с течением времени по событиям прихода, начала и окончания заказа, тем самым имитируется поступление заказов в реальном времени.
В результате моделирования по каждой из четырех моделей путем взаимодействия агентов происходит самоорганизация системы «заказы — грузовики», организуется расписание для каждого грузовика и автоматически создается общий план, реализующийся с течением времени.
Для оценки результата процесса самоорганизации вычисляется суммарная прибыль, получаемая от всех грузовиков.
4. ПРИМЕР МОДЕЛИРОВАНИЯ
Рассмотрим модельный пример расчета прибыли при адаптивном планировании перевозок в реальном времени одним грузовиком.
Описание задачи. Имеются 4 города (пункта), расстояния между которыми задано матрицей (табл. 1) в днях пути. Время в пути не обязательно соответствует расстоянию, поскольку качество дорог разное и скорости движения по ним могут быть разными.
В начальный момент времени грузовик расположен в пункте 1.
В различные моменты времени случайным образом поступают заказы № 1—5 на перевозку грузов в разные пункты. Длительность выполнения заказов 1—2 дня. Горизонт планирования ( = 10 дней. Стоимость выполнения заказа по тарифу компании постоянна и равна с = 3 у. е./день, т. е. если длительность выполнения заказа 2 дня, то доход от его выполнения составит 6 у. е. Если грузовик простаивает, то каждый день простоя приводит к затратам в #а = 0,3 у. е. Каждый день движе-
Таблица 1
Матрица расстояний между пунктами (городами)
- Пункт 1 Пункт 2 Пункт 3 Пункт 4
Пункт 1 0 1 1 2
Пункт 2 1 0 2 1
Пункт 3 1 2 0 1
Пункт 4 2 1 1 0
Таблица 2
Характеристики заказов
Характеристика Номер заказа
1 2 3 4 5
Время поступления 1 3 5 6 7
Время начала 3 4 7 8 9
Время окончания 5 5 9 9 10
Откуда 4 3 1 4 3
Куда 1 1 4 3 1
Рис. 1. Диаграмма поступления заказов
Рис. 2. Прибыль агента грузовика в зависимости от времени
ния при перегоне пустого грузовика или при выполнении заказа приносит затраты q = 1. Разрешается выполнять заказы с опозданием, за каждый день опоздания взимается штраф в размере рр = 0,6 у. е. Некоторые заказы при этом сдвигаются вправо по оси времени.
Требуется планировать перевозки по мере поступления заказов (о заказах заранее ничего неизвестно) и определять прибыль.
Заказы описываются номером в порядке поступления, датой поступления (моментом времени /), моментами начала и окончания выполнения, длительностью (в днях), начальным и конечным пунктами (табл. 2).
На рис. 1 заказы представлены прямоугольниками, внутри каждого из них указаны номер заказа и через запятую момент его поступления, сверху прямоугольника указано «откуда—куда». Начало и конец каждого прямоугольника соответствуют моментам начала и окончания выполнения.
Подсчитаем прибыль агента грузовика 1 в модели 3 с учетом штрафов. Будем вычислять прибыль V в моменты изменения состояния грузовика.
Расчет прибыли. Шаг 1. Выполнение заказа № 1 потребует выезда в момент t = 1 из пункта 1 в пункт 4 и займет 2 дня до момента t = 3. На момент t = 3 прибыль Р = -q *2 = —2. Будем показывать изменение прибыли Р в реальном времени (рис. 2).
Шаг 2. Движение с грузом из пункта 4 в пункт 1 займет 2 дня и к моменту t = 5 грузовик окажется в пункте 1 с прибылью Р = —2 + (с — q)•2 = —2 + 2*2 = 2.
Предположим, что агент грузовика оценивает варианты исполнения последующего плана по прибытии в пункт 1 в момент t = 5. Его прибыль к этому моменту V = 2. К этому времени в момент t = 3 поступил заказ № 2. Есть два варианта его исполнения:
— заказ № 2 выполняется с опозданием;
— не брать заказ № 2, оплачивая простой, а потом взять заказ № 3 из того же пункта 1; поскольку заказ № 2 можно выполнить с опозданием до начала выполнения заказа № 3, то другие варианты рассматривать не требуется. Рассмотрим эти варианты подробнее.
Шаг 3. Нужно доехать из пункта 1 в пункт 3 (1 день) и выполнить заказ № 2 переездом из пункта 3 в пункт 1 (1 день). Искомый прирост прибыли йР = -+ + (с - q)•1 = -1 + 2 = 1. Штраф за опоздание -рр • 2 = = —2 • 0,6 = -1,2. Итого, к моменту t = 7 грузовик окажется в пункте 1 с прибылью Р = 2 + 1 - 1,2 = 1,8. Казалось бы, выполнение этого заказа невыгодно, но нужно учесть, что при его невыполнении грузовик простаивает 2 дня и к моменту t = 7 прибыль Р = 2 - 2 • 0,3 = 1,4.
Шаг 4. Поэтому агенту грузовика выгодно выполнить с опозданием заказ № 2, выполнить заказ № 3, t = 7...9 (из пункта 1 в пункт 4) 2 дня, прибыль Р = 1,8 + 2-(с -- q) = 1,8 + 2-2 = 5,8 и грузовик переезжает в пункт 4.
Шаг 5. К моменту t = 9 есть новый заказ № 5 в пункте 3 с началом выполнения t = 9, переезд до него равен 1 дню, что сдвигает заказ за горизонт 10. Поэтому агент грузовика отказывается от него. Имеется также просроченный заказ № 4 из пункта 4 в пункт 3, начало его выполнения должно быть в момент t = 8. Агент грузовика оценивает прибыль от возможного смещения выполнения на 1 день.
Шаг 6. Выполнение заказа № 4, переезд не требуется, йР = (3 - 1)-1 = 2 — штраф 0,6 = 1,4. Если бы не было этого выполнения, то грузовик стоял бы 1 день до горизонта и тогда йР = -1-0,3 = -0,3. Поэтому агенту грузовика выгодно согласиться.
Итог: выполняются заказы № 1 и 3 без опоздания, заказ № 2 с задержкой на 2 дня и заказ № 4 с задержкой 1 день. Заказ 5 не выполняется (рис. 3).
Полная прибыль за 10 дней Р = 5,8 + 1,4 = 7,2.
Итоговое движение грузовика показано на рис. 4. Сначала грузовик выезжает из города 1 в город 4. Затем выполняет заказ № 1 из города 4 в город 1 без опоздания. Потом перемещается в город 3 для выполнения заказа № 2. Затем выполняет с опозданием заказ № 2. После этого он из города 1 выполняет заказ № 3 в город 4 без опоздания. Затем с опозданием выполняет заказ № 4. Заказ № 5 остается невыполненным, поскольку выходит за горизонт ^ = 10).
Рис. 3. Диаграмма выполнения адаптивного плана одним грузовиком: темным показаны отсроченные заказы, которые выполняются со штрафами; светло-серым выделены заказы, выполняющиеся без опоздания; сдвиги показаны широкими стрелками; сдвигаемые заказы показаны точками; белым показан невыполненный заказ
Рис. 4. Схема выполнения заказов грузовиком в модели 3: белыми стрелками показаны переезды; светло-серыми — выполнение заказов с опозданием; темно-серыми — выполнение заказов в срок
В качестве более масштабного примера рассматривалась задача планирования выполнения 100 заказов на 10-ти одинаковых грузовиках. Заказы генерировались с равномерным распределением даты поступления и равномерным распределением по пунктам (городам). Дата начала выполнения также равномерна, но в интервале от времени поступления до горизонта планирования. Поэтому концентрация заказов возрастает к концу интервала моделирования. Грузовики первоначально располагаются в одном пункте. Заказы равномерно распределены по 18 пунктам. Расстояния между пунктами от 1 до 6. Горизонт планирования был равен 100 дням.
5. РЕЗУЛЬТАТЫ МОДЕЛИРОВАНИЯ
С помощью МАС получены расписания выполнения агентами грузовиков заказов для различных моделей организации перевозок.
В качестве примера на рис. 5 и 6 приведены расписания (диаграммы Ганта) грузовика в моделях 1 и 4 (см. § 2).
0 5 10 15 20 25 30 35 40 45 50 55 60 65 70 75 80 85 90 95 100 105 t
Рис. 5. Расписание грузовика в модели 1 (с возвращением на базу)
Рис. 6. Расписание грузовика в модели 4 (с адаптивным перепланированием и штрафами)
Рис. 7. Пример маршрута грузовика в модели 3 без перепланирования
(V) Переезд^(Т^)| Заказ 49 ^(7?)[~Г1ёреезд (1Р)| ЗаказТГ^рГ)
оо
@ <(^Переезд | (п)<^3аказ 78 | (^<^Переезд |(У)^Заказ2
о со И 00 /
(Т)| Переезд"^(Т?)^"каз25^)> @
Рис. 8. Маршрут грузовика в модели 4 (с адаптивным перепланированием и штрафами), соответствующий диаграмме Ганта (см. рис. 6)
По горизонтальной оси отложено время в днях, по вертикальной — номера заказов. Исполненные заказы показаны темным цветом. Более светлые прямоугольники до заказа соответствуют переезду грузовика в пункт погрузки. Такие же прямоугольники на рис. 5 обозначают возвращение грузовика в пункт базирования по модели 1. Темные прямоугольники на рис. 6 показывает заказ, выполненный с задержкой и штрафом.
Пример маршрута грузовика в модели 3 приведен на рис. 7; номера пунктов (городов) даны в кружочках. При переходе на модель 4 маршрут грузовика изменяется (рис. 8).
Получены также графики динамики прибыли каждого агента грузовика в зависимости от времени. На рис. 9 представлены графики динамики прибыли агента данного грузовика в моделях 1—4. Они соответствуют расписаниям грузовика, представленных диаграммами Ганта. Прямые горизонтальные участки соответствуют стоянке грузовика, отрезки с положительным наклоном означают рост прибыли при выполнении заказа, отрезки с отрицательным наклоном показывают затраты по перегону грузовика в пункт погрузки или возвращение в пункт базирования в модели 1.
Каждый график (рис. 10) состоит из двух характерных участков — начального возрастающего, на котором прибыль растет с увеличением числа грузовиков, и конечного — режима насыщения, когда все заказы, которые можно было выполнить, уже выполнены.
Режимы насыщения отличаются для разных моделей. Наименьшая прибыль в модели 1 с возвращением — поскольку планируется меньшее число заказов и при возвращении в пункт базирования происходят дополнительные затраты. Модель 3 без возвращения и с планированием опоздавших заявок значительно превосходит модель 2 без возвращения на начальном участке, поскольку на одно и то же число грузовиков планируется больше заказов. В режиме насыщения она дает мало преимущества по сравнению с моделью 2, потому что при большом числе грузовиков мало заказов, выполняемых с опозданием, и модели 2 и 3 будут совпадать.
Наилучшей является модель планирования 4. Она даёт примерно на 20 % большую прибыль, чем
р, у.е.
40 35 30 25 20 15 10
/-•-• •_/-
0
-5-10-
ТЯ?"
0 4 9 1^*8 22 26 31ХУ40 44 48 53 57 62 66 70 75 79 84 88 92 97 101 106 г
5
Рис. 9. Графики динамики прибыли агента грузовика в зависимости от модели организации грузовых перевозок:--модель 1;
----модель 2;---— модель 3;.......— модель 4
500 400 300 200 100
уе.
у9 • ' • 1
С у d 4 4 W+
• * У* ✓ А ✓ /
• 9 / 4 > У У
у £
10
15
20
25
30
35
40 45
Рис. 10. Зависимость прибыли от числа используемых грузовиков в различных моделях организации грузоперевозок:--модель 1;
----модель 2;---— модель 3;.......— модель 4
0
5
модели 2 и 3. При выполнении плана она позволяет обойтись меньшим числом грузовиков. Это объясняется наличием адаптивного улучшения текущего расписания каждого грузовика в результате взаимодействия агентов.
ЗАКЛЮЧЕНИЕ
Мультиагентные системы позволяют динамично строить расписания грузоперевозок в реальном времени и значительно увеличивать суммарную прибыль транспортной компании благодаря адаптивной корректировке планов и индивидуального подхода к планированию каждого заказа и ресурса.
Полученные результаты могут найти применение при создании мультиагентных систем управления в реальном времени грузовиками и другими мобильными ресурсами, оснащаемыми средствами GPS/ГЛОНАСС навигации.
Авторы благодарны и признательны д-ру техн. наук В.А. Виттиху и академику РАН С.Н. Васильеву за постоянный интерес к настоящей теме и поддержку проводимых исследований, а также д-ру физ.-мат. наук Л.Н. Щуру за организацию междисциплинарного семинара в г. Тарусе и полезные творческие обсуждения, во многом инициировавшие настоящее исследование. Особую благодарность авторы выражают П. Кристодулу за поддержку разработки и внедрения промышленной версии системы.
ЛИТЕРАТУРА
1. Handbook of Scheduling: Algorithms, Models and Performance Analysis / Ed. J. Y-T. Leung. — Boca Raton: Chapman & Hall, 2004.
2. Stefan Vos Meta-heuristics: The State of the Art // Local Search for Planning and Scheduling / Ed. A. Nareyek // ECAI 2000 Workshop, Germany, August 21, 2000. — Springer-Verlag, Germany, 2001.
3. Bonabeau E, Theraulaz G. Swarm Smarts. What computers are learning from them? // Scientific American. — 2000. — Vol. 282, N 3. — P. 54—61.
4. Wooldridge M. An Introduction to Multi-Agent Systems. — JohnWiley&Sons, 2002. — 340 p.
5. Скобелев П.О. Мультиагентные технологии в промышленных применениях: к 20-летию основания Самарской школы мультиагентных систем // Мехатроника, автоматизация, управление. — 2010. — № 12.
6. Скобелев П.О. Открытые мультиагентные системы для оперативной обработки информации в процессах принятия решений // Автометрия. — 2002. — № 6. — С. 45—61.
7. Виттих В.А., Скобелев П.О. Мультиагентные модели взаимодействия для построения сетей потребностей и возможностей в открытых системах // Автоматика и телемеханика — 2003. — № 1. — С. 177—185.
8. Ivaschenko A., Skobelev P., Tsarev A. Smart solutions multi-agent platform for dynamic transportation scheduling // 3rd Inter. Conf. on Agents and Artificial Intelligence (ICAART) ICAART 2011 (Rome, Italy, 2011). — Vol. 2. — P. 372—375.
Статья представлена к публикации членом редколлегии А.С. Манделем.
Амелина Наталья Олеговна — аспирант, Санкт-Петербургский государственный университет, Ш (812) 428-49-10, И leishe@mail.ru.
Лада Александр Николаевич — вед. разработчик, ООО «НПК "Разумные решения"», г. Самара, Ш (846) 222-91-72, И lada@kg.ru,
Майоров Игорь Владимирович — вед. разработчик, ООО «НПК "Разумные решения"», г. Самара, Ш (846) 222-91-72, И imayorov@kg.ru,
Скобелев Петр Олегович — д-р техн. наук, вед. науч. сотрудник, Институт проблем управления сложными системами РАН, г. Самара, Ш (846) 222-91-72, И petr.skobelev@gmail.com,
Царев Александр Вячеславович — ген. директор, ООО «НПК "Разумные решения"», г. Самара, Ш (846) 222-91-72, И at@kg.ru.
