CC BY
16УДК 629.784.016.01(100)
МЕТОД АДАПТИВНОГО ПЛАНИРОВАНИЯ ГРУЗОПОТОКА В ИНТЕРАКТИВНОЙ МУЛЬТИАГЕНТНОЙ СИСТЕМЕ РАСЧЕТА ПРОГРАММЫ ПОЛЕТА, ГРУЗОПОТОКА
И РЕСУРСОВ РОССИЙСКОГО СЕГМЕНТА МЕЖДУНАРОДНОЙ КОСМИЧЕСКОЙ СТАНЦИИ
© 2014 г. Бидеев А.Г.1, Карбовничий В.П.3, Майоров И.В.3, Новиков А.Л.3,
Скобелев П.О.2, Сычева М.В.1
1 ОАО «Ракетно-космическая корпорация "Энергия" имени С.П. Королёва» (РКК «Энергия») Ул. Ленина, 4А, г. Королёв, Московская область, Россия, 141070, e-mail: [email protected]
2 ООО «Группа компаний «Генезис знаний» (ГК «Генезис знаний») Ул. Московское шоссе, д.17, офис 1202, г. Самара, Россия, 443013, e-mail: [email protected]
3 ООО «Научно-производственная компания «Разумные решения» (НПК «Разумные решения») Ул. Московское шоссе, д.17, офис 1201, г. Самара, Россия, 443013, e-mail: [email protected]
Рассматривается метод адаптивного планирования грузопотока для Российского сегмента Международной космической станции. Метод реализован в мультиагентной системе интерактивного построения программы полета и плана грузопотока и базируется на итерационном алгоритме повышения удовлетворенности агентов грузов и полетов, позволяющем эволюционным путем строить последовательности предпочтительного размещения грузов по полетам. В статье показывается, что разработанный метод позволяет решать сложные задачи планирования за счет самоорганизации агентов грузов и агентов полетов, выполняющих переговоры для нахождения и идущих на уступки для согласования баланса интересов в режиме работы по событиям в реальном времени, как это делают опытные специалисты (проектанты).
Ключевые слова: мультиагентные системы, реальное время, планирование грузопотока, сети потребностей и возможностей, виртуальный рынок, итерационный алгоритм улучшения решений.
THE METHOD OF ADAPTIVE CARGO TRAFFIC PLANNING IN THE INTERACTIVE MULTI-AGENT SYSTEM FOR CALCULATING THE MISSION PLAN, CARGO TRAFFIC AND RESOURCES OF THE RUSSIAN SEGMENT OF THE INTERNATIONAL SPACE STATION Bideev A.G.1, Karbovnichy V.P.3, Mayorov I.V.3, Novikov A.L.3, Skobelev P.O.2, Sycheva M.V.1
1 S.P. Korolev Rocket and Space Public Сorporation Energia (RSC Energia) 4A Lenin Street, Korolev, Moscow region, 141070, Russia, e-mail:[email protected]
2 Genesis Znanii (Genesis of Knowledge) Group (GKG) 17 office 1202, Moskovskoye shosse Str., Samara, Russia, 443013, e-mail: [email protected]
3 Scientific production company Razumnye Resheniya (Smart Solutions) (SPC Razumnye Resheniya) 17 office 1201, Moskovskoye shosse Str., Samara, Russia, 443013, e-mail: [email protected]
The paper discusses a method of adaptive cargo traffic planning for the International Space Station Russian Segment. The method is implemented in the multi-agent system for interactively constructing mission and cargo traffic plans and is based on an iterative algorithm for increasing the cargo and flight agents satisfaction, making it possible to construct through evolutionary means the preferable sequence of flight-by-flight cargo accommodation. It is demonstrated that the developed method makes it possible to solve complex planning tasks due to self-organization of cargo agents and flight agents, conducting negotiations to search for and making concessions to agree upon the balance of interests in the real-time events operations mode, in the same manner as it is usually done by experienced specialists (planners).
Key words: multi-agent systems, real-time, cargo traffic planning, needs and resources network, virtual market, iterative algorithm for improving solutions.
БИДЕЕВ А.Г.
КАРБОВНИЧИЙ В.П.
МАЙОРОВ И.В.
НОВИКОВ А.Л.
СКОБЕЛЕВ П.О.
СЫЧЕВА М.В.
БИДЕЕВ Алексей Геннадьевич — ктн, начальник отдела РКК «Энергия», e-mail: [email protected] BIDEEV Alexey Gennadyevich — Candidate of Science (Engineering), Head of Department at RSC Energia
КАРБОВНИЧИЙ Вячеслав Павлович — ведущий программист НПК «Разумные решения», e-mail: [email protected]
KARBOVNICHY Vyacheslav Pavlovich — Lead programmer at SPC Razumnye Resheniya
МАЙОРОВ Игорь Владимирович — ведущий аналитик НПК «Разумные решения», e-mail: [email protected]
MAYOROV Igor Vladimirovich — Lead analyst at SPC Razumnye Resheniya
НОВИКОВ Антон Леонидович — ведущий программист НПК «Разумные решения», e-mail: [email protected]
NOVIKOV Anton Leonidovich — Lead programmer at SPC Razumnye Resheniya
СКОБЕЛЕВ Петр Олегович — дтн, директор по разработкам ГК «Генезис знаний», e-mail: [email protected] SKOBELEV Petr Olegovich — Doctor of Sience (Engineering), Development Director at Genesis of Knowledge Group
СЫЧЕВА Марина Владимировна — начальник сектора РКК «Энергия», e-mail: [email protected] SYCHEVA Marina Vladimirovna — Head of Sector at RSC Energia
1. Введение
Международная космическая станция (МКС) состоит из двух сегментов — Российского (РС) и Американского (АС). Российская и американская стороны несут ответственность за функционирование своего сегмента и снабжение жизненно важными грузами своей части экипажа.
Для успешной работы МКС требуется решение задачи планирования грузопотока, включая доставку на борт станции служебного оборудования, различных материалов и инструментов, пополнение запаса воды и пищи для космонавтов и эвакуации продуктов их жизнедеятельности.
Построение стратегических и тактических планов полета, а также доставки, возврата, утилизации и размещения на МКС грузов, к числу которых можно отнести ~ 3 500 наименований объектов — сложная и трудоемкая задача, при решении которой необходимо учитывать множество противоречивых факторов, ограничений и предпочтений, таких например, как изменяющиеся потребности в топливе, воде и продовольствии, баллистика и солнечная активность, типы кораблей и стыковочных модулей и т.д.
При этом любое событие, касающееся полета, например, изменение дат старта, стыковки или отстыковки, состава экипажа и других параметров полета, ведет к динамическому перепланированию и цепочке изменений многих других связанных параметров, которые должны быть пересчитаны соответствующим образом.
Для решения такого класса сложных и динамичных задач все чаще применяется мультиагентный подход [1] — одно из наиболее перспективных направлений в области искусственного интеллекта (ИИ), в котором поиск решения сложной задачи выполняется за счет процессов самоорганизации и эволюции, присущих живым организмам [2, 3].
В развиваемом подходе используется концепция сетей потребностей и возможностей (ПВ-сетей), в которой любой план строится как гибкая (перестраиваемая по событиям) сеть связей агентов потребностей (заказов) и возможностей (ресурсов) [4, 5].
В настоящей работе рассматривается метод планирования грузопотока РС МКС, развивающий предложенный ранее метод сопряженных взаимодействий в ПВ-сетях [6].
В разд. 2 статьи в этих целях рассматривается постановка задачи планирования, в пунктах 3.1-3.3 описывается предложенный
метод планирования, в разд. 4 рассматривается пример применения разработанного алгоритма для модельного распределения грузов по полетам. В заключении делаются основные выводы и формулируются предложения и рекомендации по развитию системы.
Предложенный подход применяется в мультиагентной системе интерактивного расчета программы полета, грузопотока и ресурсов РС МКС, позволяющей оперативно, гибко и экономично создавать и далее адаптивно изменять планы по грузопотоку без полной перестройки этих планов заново, «с нуля».
Более подробное описание архитектуры, пользовательских интерфейсов и других технических деталей реализации системы представлено в работах [7, 8].
В настоящее время система внедрена в промышленную эксплуатацию и успешно используется более чем 100 специалистами.
2. Формализация постановки задачи планирования грузопотока РС МКС
Имеется система полетов {П.}, i = каждый из которых характеризуется набором параметров {А.}, ] = 1...^, в общем случае заданным в виде интервалов (например, время старта, доступный объем баков для воздуха, жидкостей, «сухих» грузов и т.п.).
Кроме того, имеется система грузов {Гк}, к = 1..МТ с наборами параметров {Вкт}, т = 1...^. С каждым грузом и полетом связан агент с соответствующими атрибутами, представляющий, соответственно, интересы, потребности и возможности [5], способные к конкуренции и кооперации на виртуальном рынке системы.
Для каждого агента задана функция виртуальной прибыли (удовлетворенности), отвечающая, например, реализации возможности или потребности точно в срок в рамках некоторого диапазона сроков (или значений других параметров) выполнить задачу. Эта функция в общем случае должна иметь коло-колообразную форму с максимумом в точке идеального значения и спадом в правую и левую стороны значений параметров. Но для упрощения вычислений эта форма принята за кусочно-линейную (треугольную), нормированную по значениям соответствующего параметра.
Каждый агент пытается максимизировать свою удовлетворенность и увеличивает прибыль, которую может тратить как «энергию» для подвижки других агентов, точнее, компенсации им ухудшений в случае возникновения конфликтов, которые он пытается разрешить в интересах системы в целом.
Каждая компонента по параметру Xkm е [BkJ имеет вид
\Xkm Xkm I
D
km
2
где Бкт — диапазон значения параметра т груза к; Хкт — текущее значение параметра Хкт груза к; X^ — идеальное значение параметра X .
1 кт
Полная функция прибыли для груза Гк определяется как произведение всех компонент
где
Г 1,е
= I -1.
бели V (k, т)Ут(Тк,Хы)>0 -1, если V (k, т.) YJJk, Хы) < 0.
Функция прибыли системы грузов задается суммой функций прибыли по всем грузам
Щ ) = ^ ¥(Гк) = ^ак , ХЛ
Аналогичная формула справедлива и для системы полетов
У(П) = Е^(П,) = X = пД\к(и.,х9)\.
Общая функция прибыли системы «Грузы и Полеты» будет равна сумме
-
N
Щ, П ) = I ! фт = ! \Ym(Tk, XJ\ N
+ '
В данном случае эта функция будет целевой функцией задачи оптимизации.
Задача состоит в максимизации функции прибыли при ограничениях на значения всех параметров полетов и грузов согласно множествам {A.}и {B }
^ ij ^ km'
{XI, Х0} = arg max
n(k, i)mj
при Xij е {Aij-}, Xkm е {Bkm},
где n(k, i) — постановка груза k на полет i, максимизирующая функцию прибыли.
В общем случае это задача максимизации кусочно-непрерывных функций на интервальных множествах.
Данную задачу предлагается решать с помощью мультиагентной системы. Без потери общности и для упрощения обозначений и демонстрации алгоритма рассматривается одномерный случай. Кроме того, функция прибыли полетов считается постоянной и не учитыва-
+
ется в данном анализе. Многомерный случай приводит только к более сложным расчетам для определения прибыли для множества грузов.
3. Метод адаптивного планирования грузопотока
Распределение, планирование и оптимизация ресурсов в реальном масштабе времени означает, что принятие и реализация управленческих решений происходит в темпе, соответствующем скорости изменения потребностей и возможностей МКС.
Требование «реального времени» здесь является принципиальным и напрямую связано с обеспечением эффективного использования ресурсов, поскольку появление задержек в принятии решений об их распределении может привести к потере качества обеспечения МКС или к полному срыву сроков поставки грузов. В условиях, когда число заказов заранее не известно, применение классических методов распределения, планирования и оптимизации ресурсов чаще всего оказывается неприемлемым на практике. Поэтому первостепенной становится проблема нахождения «рациональных методов», обеспечивающих допустимое (т.е. устраивающее всех) распределение ресурсов, когда фактор времени становится первостепенным, а скорость получения решения не сильно зависит от размерности задачи.
В настоящей статье рассматривается метод адаптивного планирования, развивающий разработанный ранее метод сопряженных взаимодействий, который позволяет решать задачи управления распределением неоднородных ресурсов большой размерности в реальном масштабе времени.
Существо предлагаемого метода заключается в следующем:
• фиксируется множество сопряженных (в общем случае — неоднородных) элементов МКС, каждый из которых обладает определенными ресурсами и потребностями в других ресурсах;
• описываются индивидуальные цели и критерии принятия решения всеми элементами системы, а также их предпочтения и ограничения;
• определяются правила и протоколы (регламенты) сопряженных взаимодействий между элементами, позволяющие выявлять конфликты и находить компромиссы между элементами путем взаимных уступок;
• с помощью специальных инструментальных средств программирования разрабатывается программа моделирования сопряженных взаимодействий;
• с помощью этой программы строится первоначальная сеть потребностей и возможностей (ПВ-сеть), определяющая соответствующее распределение заказов и ресурсов;
• если состояние ресурсов или потребности в них изменяются с приходом новых событий, то ПВ-сеть перестраивается с целью разрешения конфликтов, причем только в той части, которая непосредственно связана с изменениями;
• решение задачи распределения ресурсов считается найденным, когда ни один элемент ПВ-сети не может улучшить свое состояние в сети.
Таким образом, ПВ-сеть представляет собой пример самоорганизующейся системы, формирующей и изменяющей расписания ресурсов, а также адаптирующей свое поведение под действием событий, происходящих в реальном времени.
Работа предлагаемого метода адаптивного планирования основывается на введенном в разд. 2 формализме функций виртуальной прибыли (удовлетворенности) агентов полетов и грузов и механизме обмена сообщениями (переговорами) между ними с целью максимизации прибыли на каждом шаге взаимодействия. Задача планирования решается итерационно, за счет постепенного возрастания (локального улучшения) значений функций удовлетворенности каждого агента, что приводит к росту аддитивной функции системы. На каждом шаге переговоров используется локальная текущая информация о состояниях переменных агентов полетов и грузов и об их изменениях. Направления возрастания виртуальной прибыли определяются на основе возможного вытеснения грузов с одного полета на другой при наличии компенсации, обеспечивающей данное возрастание. Поэтому постепенное адаптивное перераспределение приводит к росту целевой функции.
Проактивность позволяет системе динамически строить расписание с локально-оптимальной функцией прибыли.
3.1. Функции удовлетворенности агентов
Рассмотрим без потери общности одномерную по параметрам систему агентов грузов и полетов.
Любой агент груза всегда пытается повысить значение функции удовлетворенности, которая в дальнейшем может быть связана с достижением наилучших сроков отправки, максимальной загруженностью корабля, низким риском и другими параметрами. Пусть Г — некоторый груз, размещаемый на корабль. Для каждого груза Г
известно предпочитаемое окно (Window) размещения во времени, с шириной D = Xr - X,, где X — левая граница, а Xr — правая граница размещения груза. Пусть идеальное размещение Xid определяется как середина диапазона окна размещения груза, т.е. Xid = Xl + (Xr — X,)/2, а X — реальное время размещения груза (рис. 1).
Рис. 1. Идеальное положение груза (отмеченное звездочкой) и его реальное положение на шкале времени (кружок)
На рис. 1 показано, что, имея свое представление об идеальном размещении Хы, рассматриваемый груз вынужден разместиться в корабле «Прогресс-2» на позиции X, расположенной справа по времени от идеальной позиции. Удовлетворенность (виртуальная прибыль) агента груза Г может быть задана как функция отклонения реального Х от идеального Хы размещения:
Y(r, X) = 1
К - X\
D 2
Для удобства записи индекс идеальности id показан нижним.
Удовлетворенность агента У(Г^) принимает значение 1, если Х = Хы, и значение 0, если Х оказывается на границах диапазона, при дальнейшем отклонении от идеального положения значение удовлетворенности становится отрицательным (рис. 2).
Рис. 2. График текущей прибыли (удовлетворенности) агента, соответствующий размещению груза
Следует отметить, что при таком значительном удалении от идеала грузы низкого приоритета могут вытеснять грузы не только равного, но и более высокого приоритета.
Таким образом, для рассмотренного примера удовлетворенность груза достигает значения У(Х') при размещении груза в момент времени X'. Общая прибыль системы будет определяться как сумма прибылей всех агентов.
При появлении нового груза мультиагент-ная система планирования руководствуется следующим правилом («принцип баланса интересов»): Сумма прироста удовлетворенности (виртуальная прибыль) системы при размещении нового груза должна превосходить сумму ухудшений удовлетворенностей других агентов, в противном случае груз не может быть размещен. При этом груз будет ожидать существенных изменений и подвижек других грузов и благоприятного момента для последующих попыток размещения.
При этом главный принцип виртуального рынка системы состоит в том, что если один агент просит другого агента ухудшить свое положение, например, выйти в зону неудовлетворенности или штрафа, он обязан компенсировать потери и выплатить компенсации за неудовлетворенность другим агентам, что позволяет поддерживать баланс противоположных интересов агентов, конфликтных по своей природе. Чем больше виртуальные налоги и штрафы, тем меньше эластичность расписания (поскольку больше агентов будут отказываться от предложений), и наоборот.
Рассмотрим работу агента корабля. Из постановки задачи ясно, что агент корабля ] старается разместить как можно больше грузов, не превышая грузоподъемность, и максимизировать стоимость грузов. В таком случае, естественной мерой удовлетворенности Ук. будет близость суммарной массы грузов к вместимости корабля М.
У =
к
.¡т.
г г
м.
1
где в числителе стоит сумма всех грузов на данном корабле.
3.2. Адаптивное планирование грузопотока
Теперь можно сформулировать общий алгоритм первоначальной инициализации размещения грузов по полетам. Для пояснения логики планирования грузопотока и упрощения вычислений рассматривается одномерная задача планирования по времени, с идентич-
ными по массе грузами. Предполагается, что потребности в грузопотоке изначально заданы, и имеется начальная программа полета. У всех грузов грузопотока заданы масса единицы, стоимость единицы (например, по приоритету) и временной диапазон доставки. Перед началом процессов переговоров по вытеснению желательно сформировать более или менее адекватную сцену в «нулевом» приближении, воспользовавшись возможностями агентов полетов. Это позволит сократить число взаимодействий агентов грузов по сравнению с ситуацией произвольного случайного заполнения.
На фазе первоначальной инициализации сцены производятся следующие действия:
1. Агенты полетов располагаются в очередь по возрастанию центров временного интервала каждого полета: Р1(х1), Р2(х2), ..., Рп(хп), при этом х1 < х2 < ... хп.
2. Агенты Г грузов сортируются по убыванию удельной стоимости на единицу массы С/т. Это даст возможность агенту полета выбирать наиболее подходящие дорогостоящие и, в то же время, легкие грузы.
3. Каждый из агентов полетов вычисляет функцию удовлетворенности для всех грузов упорядоченного списка и исключает из него агентов грузов с отрицательными значениями функции удовлетворенности. Тем самым удаляются все грузы с заведомо малоприемлемыми временными окнами. Затем агент полета отбирает агентов грузов из получившегося списка до полного насыщения по массе. Список полетов уменьшается на 1. Процесс повторяется для всех полетов, перед каждой итерацией выполняется нахождение неотрицательных по функции удовлетворенности агентов грузов.
В результате выполнения этого алгоритма на каждом полете формируется набор грузов, упорядоченный в соответствии с предпочтениями по времени, а также по критериям стоимости и массы, что уменьшает количество дальнейших вытеснений.
Затем выполняется алгоритм внутреннего непрерывного (проактивного) улучшения удовлетворенности агентов грузов при отсутствии поступления новых грузов. Предположим, что запущен постоянный цикл активности агентов грузов, а новые грузы в систему не поступают. Агенты полетов ранжированы в порядке возрастания средних координат центров диапазона каждого полета, и грузы на каждом полете инициируются именно в этом порядке, т.е. в порядке Р1(х1), Р2(х2), ..., Рп(хп), при этом х1 < х2 < . хп.
На активизированном полете агенты вычисляют свои функции удовлетворенности. Первым
начинает процесс улучшения агент с наименьшим значением функции прибыли. После каждого перемещения каждый измененный агент полета пересчитывает функцию прибыли по нормированной стоимости и приписывает каждому агенту груза привнесенный им вклад, т.е. запоминает вклады, ассоциированные с агентами грузов. Далее возможны следующие ситуации:
• для агента груза нет более подходящего полета, чем тот, на котором он находится. Агент груза остается на своем полете и управление (активность) передается следующему по порядку функции агенту груза;
• для груза находится полет с лучшим значением функции. Кроме того, найденный полет не полностью укомплектован и груз может переместиться без всякой платы за место. Груз перемещается на найденный полет без дополнительных переговоров. Эта ситуация характерна для первоначального набора грузов, суммарная масса которых меньше суммарной грузоподъемности полетов;
• груз может переместиться, вытеснив подходящие грузы с данного полета. Именно этот случай требует детального анализа. Активизированный агент груза запрашивает у полета, наилучшего по приросту своей функции, список грузов на этом полете, ранжированный по возрастанию вкладов в функцию полета агентов. Из этого списка выбираются агенты с наименьшими вкладами и одновременно компенсирующими массами по избытку, т.е. сумма масс должна быть больше, чем у напрашивающегося агента, иначе полет будет перегружен, а сумма вкладов меньше, чем у привходящего. Те, в свою очередь, выполняют подобные же запросы к другим полетам. Цепочки выполняются до тех пор, пока это возможно в смысле улучшения суммарной функции прироста стоимости для всех полетов. Из-за ограничений по массе и по привнесенным вкладам цепочки переговоров отсекаются.
В некоторый момент работы алгоритма получается, что никто из агентов грузов уже не может улучшить суммарную функцию удовлетворенности полетов и свои функции удовлетворенности по окнам времени. Это состояние динамического останова системы, свидетельствующее о том, что система достигла локально устойчивого состояния, соответствующего текущему балансу интересов грузов и кораблей (полетов).
3.3. Метод вытеснения
при планировании грузопотока
Рассмотрим алгоритм проактивности агентов на полетах в случае вытеснения. Предположим,
что в первой стадии работы произошло первоначальное распределение агентов грузов по полетам. Ситуация далека от идеальной и требуется дальнейшее перераспределение. Новые грузы не поступают. У каждого агента груза имеется свой виртуальный счет, на котором вычитаются и добавляются средства. После начального распределения этот счет равен стоимости каждого груза, умноженной на количество. В результате различных перемещений по полетам величина этого счета изменяется по следующим правилам:
• при улучшении функции удовлетворения на заданную долю счет увеличивается относительно начального (неизменного) значения на пропорциональную долю.
• при ухудшении (уменьшении) величины удовлетворенности агента груза счет уменьшается в той же пропорции (от первоначального количества).
В результате задается своеобразная система бонусов и штрафов, стимулирующая конкурентное поведение агентов, которая может корректироваться пользователями. Суммарное качество решения оценивается по сумме персональных счетов агентов грузов. В таком случае до запуска проактивности качество равно сумме всех стоимостей грузов. Затем возможны изменения в плюс и минус. Варианты с уменьшением суммарной стоимости будут отбрасываться, а варианты с улучшением сохраняются как текущие. Агент с наименьшей функцией удовлетворенности на полете запрашивает у системы полет, для которого он может ее повысить. Такой полет всегда существует, так как у груза есть временной диапазон, в котором он должен находиться для максимизации своей функции. Далее, этот полет заполнен до конца, и необходимо вытеснить один или несколько грузов для размещения данного груза. Выбираются грузы, обладающие следующими свойствами:
• у них наихудшая функция удовлетворенности;
• сумма масс позволяет разместить данный груз;
• значение личного счета позволяет компенсировать издержки по размещению вытесняемых грузов на других полетах.
Вытесняющий груз по очереди компенсирует вытесняемым ухудшение их функций. Если на счету текущего агента груза нет виртуальных денег, выполняется поиск нового набора грузов на этом полете. В данном случае представляется маловероятным, что на худших полетах могут найтись грузы для вытеснения, поскольку суммарный бонус для груза пропорционален приросту
функции удовлетворения. Поэтому в простой стратегии, если не удается найти перемещений для наилучшего полета, то происходит переход к другому грузу. Для уменьшения длин цепочек применяется принцип отсечки: рассматривать только те грузы на полете, штрафы для которых в сумме не превышают бонуса для груза. Контролируется также уровень вложенности по рекурсии, например, не более двух, т.е. первичный груз вытесняет последующий, а тот, в свою очередь, еще один и не более. Вместе с принципом отсечки это сократит возможное нарастание количества рассматриваемых вариантов. Подсчитывают-ся ограниченные цепочки изменения состояния грузов. Если суммарное значение всех изменяемых счетов больше нуля, то изменения в плане принимаются и сохраняются.
4. Пример применения метода адаптивного планирования грузопотока
Предположим, что имеется девять грузов (Гр Г2, ..., Г9) одинаковой массы, равной 1, и одинаковой стоимости, равной 1 (табл. 1). Их нужно отправить на трех полетах (П1, П2, П3). Полеты имеют одинаковую емкость — по три груза на каждом полете. Грузы отличаются только диапазонами доставки, а полеты имеют одинаковую длительность и также характеризуются диапазонами — временем начала и окончания. Величины диапазонов размещения грузов по времени одинаковы и равны 4.
Начальное распределение грузов таково, что на полете П2 находятся грузы, позволяющие образовывать длинные цепочки перестановок и одновременно достаточно активные, благодаря своему промежуточному положению. Данное распределение позволяет рассмотреть различные варианты переговоров.
Таблица 1
Первоначальное размещение грузов по полетам
Полет П1 Полет П2 Полет П3
Г1 [14; 18] 16 Г3 [2; 6] 4 Г4 [10; 14] 12
Г2 [14; 18] 16 Г6 [2; 6] 4 Г8 [8; 12] 10
Г5 [8; 12] 10 Г7 [14; 18] 16 Г9 [10; 14] 12
Примечание: В квадратных скобках указаны границы временных интервалов полетов, число после интервала означает координату центра интервала.
Каждый агент груза вычисляет функцию прибыли в зависимости от состояния, в данном случае, от полета, на котором находится (табл. 2).
Таблица 2
Значения функции прибыли в начале цикла переговоров
Полет П1 Полет П2 Полет П3
У(Г1) = 1 -- 0,5-12 = -5 У(Г3) = 1 -- 0,5 (10 - 4) = -2 У(Г4) = 1 -- 0,5-4 = -1
У(Г2) = 1 -- 0,5-12 = -5 У(Г6) = -2 У(Г8) = 1 - - 0,5 (16 - 10) = -2
У(Г5) = 1 -- 0,5-6 = -2 У(Г7) = 1 - - 0,5-6 = -2 У(Г9) = 1 -- 0,5-4 = -1
Примечание: Суммарная функция прибыли равна -22.
Шаг 1.
Наихудшее состояние агентов на полете П1. Наиболее активными являются агенты Г1 и Г2. В порядке очередности Г1 запрашивает полет П3, поскольку там для него наилучшее место. Откликается наиболее активный груз Г8. Ему нет смысла обмениваться положением с грузом Г1, однако он может попытаться улучшить свое состояние за счет агентов с полета П2 — там для него наилучшее положение. Он запрашивает полет П2 и находит там агентов грузов Г3 и Г6, готовых перейти на полет П1 со значительным улучшением, равным 3.
Все три агента оказываются в выигрыше. В порядке очередности откликается Г3, и они участвуют в тройном обмене (табл. 3).
Таблица 3
Состояния агентов
после первого шага переговоров
Полет П1 Полет П2 Полет П3
У(Г3) = 1 -- 0,5-(4 - 4) = 1 У(Г8) = 1 - - 0,5(10-10) = 1 У(Г4) = -1
У(Г2) = -5 У(Г6) = -2 У(Г1) = 1 - - 0,5 (16 - 16) = 1
У(Г5) = -2 У(Г7) = -2 У(Г9) = -1
Примечание: Суммарная функция прибыли У будет равна -10. Общее состояние системы значительно улучшилось за счет длинной цепочки одновременно согласованных перестановок.
Аналогично рассматриваются еще 5 итераций (шагов), с анализом возрастания прибыли. При окончании итераций переговоров итоговое размещение грузов по полетам показано в табл. 4.
Таблица 4
Окончательное размещение грузов по полетам
Полет П1 Полет П2 Полет П3
У(Г3) = 1 У(Г8) = 1 У(Г2) = 1
У(Г6) = 1 У(Г4) = 0 У(Г1) = 1
У(Г5) = -2 У(Г9) = 0 У(Г7) = 1
Суммарная функция прибыли У будет равна 4. На этом шаге состояние достигло максимальной упорядоченности (рис. 3), и дальнейшие улучшения невозможны. Данная расстановка показывает комбинацию принципов простого обмена позициями грузов, компенсации и отсечки.
Рис. 3. График изменения суммарной прибыли (удовлетворенности) по итерациям
Приведенный пример показывает, как муль-тиагентная система позволяет путем самоорганизации и эволюции во времени находить решения по размещению грузов на наиболее подходящих полетах. Решение достигается итерационным механизмом, базирующимся на переговорах агентов полетов и грузов.
5. Оценка результатов и перспективы развития системы
С 2011 г. мультиагентная система активно используется РКК «Энергия» и в критических ситуациях позволяет оперативно решать задачи перепланирования грузов для доставки на РС МКС. Можно привести один из ярких примеров применения этой системы.
В августе 2011 г. при старте корабля «Прогресс М-12М» № 412 произошла авария ракеты-носителя, и грузы для функционирования служебных систем и жизнедеятельности экипажа не были доставлены на РС МКС. Потребовалось выполнить оперативное перепланирование программы полета, перерасчет по нормам и ресурсу всего служебного оборудования (различных расходуемых материалов, запаса воды, пищи и одежды), хранящегося на РС МКС. Мультиагентная система выполнила эту задачу, основываясь на данных, хранящихся в онтологии знаний, перераспределила жизненно важные грузы на следующие корабли «Прогресс», вытеснив менее приоритетные.
Основной эффект внедрения системы был получен от сокращения времени на принятие решений при рассмотрении новых заявок на доставляемые грузы и от возможности моделировать различные варианты планирования
для определения наилучшей реакции на поступающие события, что обеспечивает снижение рисков при снабжении станции критически важными грузами.
Перспективы развития системы связаны со следующими направлениями:
• повышением качества и эффективности планирования за счет учета выявляемых новых индивидуальных особенностей грузов, кораблей, полетов и других элементов;
• подключением новых подразделений (связанное планирование научных грузов, учет объемов при планировании и т.д.);
• применением сетецентрического подхода, в котором вместо одного планировщика строится сеть взаимодействующих планировщиков, охватывающая все уровни: от стратегического плана до планов полетных операций;
• повышением надежности и производительности системы за счет использования многопроцессорных облачных вычислений.
Перечисленные направления развития позволят сделать систему более открытой, гибкой и эффективной, масштабируемой и производительной, надежной и жизнеспособной.
Заключение
В работе рассмотрен метод адаптивного планирования грузопотока РС МКС, реализованный в мультиагентной системе интерактивного построения программы полета, грузопотока и расчета ресурсов РС МКС.
Разработанный метод адаптивного планирования позволяет обеспечить следующие важные преимущества, вытекающие из применяемого локально-оптимального метода муль-тиагентного планирования:
• позволяет решать сложные задачи планирования в допустимое время, избегая комбинаторного взрыва;
• обеспечивает высокую гибкость планирования (цепочка подвижек грузов может быть любой длины);
• обеспечивает оперативность планирования по событиям, так как изменяет только часть плана, непосредственно задеваемую событием;
• автоматизирует цепочки связанных пересчетов планов, позволяя сократить трудоемкость работы пользователя;
• может начинаться с любого размещения грузов по полетам;
• уменьшает зависимость жизненно важных процедур планирования от человеческого фактора;
• создает платформу для дальнейшего наращивания сложности планирования за счет введения новых агентов.
Мультиагентная система интерактивного построения программы полета, грузопотока и расчета ресурсов РС МКС внедрена в промышленную эксплуатацию в РКК «Энергия» с апреля 2012 года.
Список литературы
1. Wooldridge M. An Introduction to MultiAgent Systems. John Wiley and Sons Ltd, 2002. Chichester, England. P. 340.
2. Agent Technology: Computing as Interaction. A Roadmap for Agent Based Computing. URL:http:// www.agentlink.org/roadmap/index.html (дата обращения 26.12.2013 г.).
3. Bonabeau E., Theraulaz G. Swarm Smarts. What computers are learning from them? // Scientific American. 2000. V. 282. №9 3. P. 54-61.
4. Скобелев П.О. Мультиагентные технологии в промышленных применениях: к 20-летию основания Самарской научной школы мультиагентных систем / / Мехатро-ника, автоматизация, управление. 2011. № 12. С. 33-46.
5. Скобелев П.О. Интеллектуальные системы управления ресурсами в реальном времени: принципы разработки, опыт промыш-
ленных внедрений и перспективы развития // Приложение к теоретическому и прикладному научно-техническому журналу «Информационные технологии». 2013. № 1. С. 1-32.
6. Виттих В.А, Скобелев П.О. Метод сопряженных взаимодействий для распределения ресурсов в реальном масштабе времени // Автометрия. 2009. № 2. С. 78-87.
7. Диязитдинова А.Р., Иващенко А.В., Литвинов И.И., Новиков А.Л., Скобелев П.О., Сычева М.В., Хамиц И.И. Обеспечение согласованного взаимодействия по планированию грузопотока Международной космической станции с помощью мультиагентных технологий. // Труды XIII Международной конференции «Проблемы управления и моделирования в сложных системах». Самара: СНИЦ, 2011. С. 435-442.
8. Ivashenko A., Khamits I., Skobelev P., Sychova M. Multi-Agent System for Scheduling of Flight Program, Cargo Flow and Resources of International Space Station // 5-th International Conference on Industrial Applications of Holonic and Multi-Agent Systems (HoloMAS 2011). Springer Verlag, France, Toulouse, 2011. P. 165-174. Статья поступила в редакцию 11.07.2013 г.
