CC BY
139
К.В. Богатиков, И.Е. Кириллов, И.Н. Морозов
Институт информатики и математического моделирования Кольского НЦ РАН,
Кольский филиал ПетрГУ
МЕХАНИЗМ САМООРГАНИЗАЦИИ АГЕНТНОЙ СИСТЕМЫ УПРАВЛЕНИЯ* Аннотация
В данной статье представлено описание подхода к созданию распределенной трехуровневой имитационной модели сложных динамических систем. Рассматриваются вопросы самоадаптации данной структуры при изменениях, проходящих в управляемой среде.
Ключевые слова:
имитационное моделирование, агентные системы, нейросети.
K.V. Bogatikov, I.E. Kirillov, I.N. Morozov
THE MECHANISM OF ADAPTATION AGENT MANAGEMENT
Abstract
This paper describes a distributed approach to the three-level simulation models of complex dynamic systems. The issues of self-adaptation of the structure with changes taking place in a controlled environment.
Keywords:
simulation modeling, agent-based systems, neural networks.
Структура агентной системы
Решение задач управления сложными, динамически изменяющимися системами всегда вызывало ряд сложностей при её реализации. В работе предлагается схема системы управления сложными, динамическими системами, основанная на применении агентной технологии и позволяющая реализовать механизм самоорганизации. Будем рассматривать решение задач связанных с управлением безопасностью сложных систем. В общем виде структура системы управления (СУ) представлена на рис 1.
Объект Система Система
управ- агентов Целепола- Целеустр Целереа агентов
ления первый -► гание -► емление -► лизация -► второй
уровень уровень
Рис. 1. Структура системы управления
Основная сложность заключается в том, что большинство систем находится под влиянием внешних и внутренних фактор. Как следствие этих влияний, возникает необходимость изменения структуры и функциональности системы. В них могут появляться новые элементы, или исчезать старые. Качественная
* Работа выполнена при поддержке РФФИ (грант № 12-07-00138 - Разработка когнитивных моделей и методов формирования интегрированной информационной среды поддержки управления безопасностью Арктических регионов России).
составляющая элементов систем, так же может быть различна, и при этом меняться со временем. Возникает необходимость в наделении системы управления свойством самоорганизации. Предлагается реализовать механизм самоорганизации, в рамках агентной системы, на основе порождающих функций агентов верхнего уровня.
Вторая сложность, возникающая при решении данного класса задач, заключается в отсутствии или нехватке информации необходимой при принятии управленческих решений в таких системах. Решение этой задачи возлагается на механизмы адаптации, закладываемых в поведение агентов, в рамках задач, решение которых возлагается на конкретный класс агентов.
На рис. 2 приводится схема управления, на которой указано располо-
Рис. 2. Развернутая структура агентной СУ
жение агентных составляющих в «пространстве» относительно реальных субъектов системы, для которой решается задача управления безопасностью.
В данной схеме роль датчиков и регуляторов выполняет агентная система, кроме функций сбора информации и исполнения решений данная система будет выполнять еще три функции: целеполагание, целеустремление и целереализация. Данные функции предназначаются для реализации управления реальной системой.
Суть функционирования приведенной системы как системы управления следующая: на нижнем уровне системы функционируют выделенные в
результате декомпозиции субъекты, состояние каждого можно определить по значениям их контролируемых параметров, а также по значениям внешних возмущающих воздействий. Все значения, влияющие на состояние субъекта определяются с помощью сенсоров субъекта и сенсоров возмущений, которые в свою очередь передают данные значения на агенты первого уровня, т.е. имеющиеся в системе сенсоры и агенты первого уровня выполняют роль датчиков в СУ субъектом третьего уровня.
После того как значения вектора параметров определяющих состояние субъекта третьего уровня через агенты первого уровня передаются на агенты второго уровня, агенты второго уровня выполняет процедуру оценки текущего состояния субъекта третьего уровня, а также прогнозирует развитие ситуации с помощью нейросетевого аппарата.
На основании определенных состояний субъектов третьего уровня, показаний своих собственных сенсоров, агент второго уровня определяет свое собственное состояние и передает информацию агенту третьего - верхнего уровня, который оперируя показаниями своих сенсоров, данными полученными от агента второго уровня, определяет состояние всей системы в целом.
В описании функционирования данной системы, приведенном выше, нет разъяснений о том, как генерируются управляющие решения. Перед тем как дать эти разъяснения приведем описание возможных агентов функционирующих на всех уровнях. Для этого рассмотрим еще одно схематичное отображение предлагаемой структуры управления, представленное на рис. 3.
сбор информации
Рис. 3. Иерархическая структура определения и управления
состояниями системы
Из данного рисунка видно, что в системе присутствуют три типа агентов, соответствующих различным уровням. На самом нижнем уровне функционируют реактивные агенты, порожденные агентами верхнего уровня, которые собирают информацию с сенсоров оценивающих состояния объектов нижнего уровня, преобразовывают её к определенному виду и передают агенту-родителю. Реактивные агенты не имеют ни сколько-нибудь развитого представления о внешней среде, ни механизма многошаговых рассуждений, ни достаточного количества собственных ресурсов. Реактивные агенты обладают очень ограниченным диапазоном предвидения. Они не способны планировать свои действия, их структура обратной связи, не содержит механизмов прогноза.
На втором уровне, порождающим реактивные агенты функционируют агенты, порождаемые верхним уровнем, агенты данного типа называются рефлекторными, они управляют жизненным циклом реактивных агентов и обрабатывают информацию, полученную от них. Рефлекторные агенты не имеют внутренних источников мотивации и собственных целей, а их поведение характеризуется простейшими (одношаговыми) выводами или автоматизмами [1]. Они представляют собой граничный случай понятия когнитивного агента и могут использоваться как «вспомогательные агенты». Данные агенты способны отвечать на вопросы и выполнять задания, которые ставят перед ними другие агенты, но решение этих задач не приводит к появлению у них собственных целей. Типичными примерами таких вырожденных агентов являются системы поиска в базах данных и простейшие логические регуляторы.
На самом верхнем уровне находятся интенциональные агенты, которые являются родителями агентов второго уровня, а так же принимают основные решения для реализации целей управления безопасностью. Подобные агенты наделены собственными механизмами мотивации. Это означает, что в них так или иначе моделируются внутренние убеждения, желания, намерения и мотивы, порождающие цели, которые и определяют их действия [1].
Предлагается использовать модели поведения агента, основанные на оценке состояний, рассмотренные в работах [2, 3, 4, 5].
Модель поведения агента. Агент может находиться в т состояниях у = {у. 5/ = \.т\ е ¥ . образующих его модель ограничений.
УН
р - потенциал агента, тогда у е 7(р) с Я .
ие1] - управление со стороны центра. Проявление потенциала агента будет зависеть от управления и.
е© = |а.Л| с - представление агента о свойствах ситуации целе-
устремленного состояния, где а - разделяемые всеми агентами и центром представления (общее знание) и им известные; Ь - представления, известные только >му агенту, в полезности которых он убежден , Ь = Ь(и).
Наделим множество У(р) следующими свойствами:
• выпукло;
• замкнуто.
Это означает У(/? ) с У(/? ) с...У(р )с... сЖ(/>),
где №(р) -множество возможных состояний, характеризующих предельные потенциальные возможности агента, ,■■■,Рп ,■ ~ последовательность потен-
циальных возможностей агента, возрастающих за счет управления и.
Монотонность по 0 - множество СОСТОЯНИЙ 7(/?(м), является
расширяющимся на множестве свойств ©, то есть 7(р(и), £ ) с 7(р(и), д) при
ие и. с, С| е 0, //(с) > //(С|), где ц(*) - субъективные оценки агента полезности
своих представлений.
Монотонность по ие11 множества состояний 7 (/;(»),д) на ©, что
означает Щр(и), д) п 1¥(р(и), д}) = 0. //(£) ф //(^ ), £ ^ е0.
Будем предполагать, что множество 7(р(и), д) непрерывно по Хаусдорфу на множестве представление агента о свойствах ситуации целеустремленного состояния 0 и множестве управлений со стороны центра £/, соответственно, при любых и е\]и £,€&.
Таким образом, становится ясно, что в ходе управления сложными, динамическими системами будет проявляться множество возможных потенциалов агента для конкретного состояния субъекта. При изменении качественных свойств субъекта, необходимо предусмотреть меры по изменению качественных свойств потенциала агентов или возможность появления агентов иной, новой структуры.
Далее приведем модель внешнего окружения агента, поскольку именно внешнее окружение влияет на ситуацию, которую оценивает агент, а следовательно, на его потенциал. Процесс функционирования любой системы можно рассматривать как последовательную схему смены ее состояний на некотором интервале времени (^, 1к). Состояние системы в каждый момент времени t из этого интервала характеризуется набором параметров этой системы, на которые накладываются ограничения <р(Т, К, и) < 0, зависящие от множеств параметров {Т1, К Иг} (технологических - {Ть /-1..Л}; конструктивных - {К, 7=1..Л}; управления - {Иг, /=1..Х}). Выход за эти ограничения означает переход процесса во внештатную ситуацию. Эти ограничения, «вырезают» на множестве всех состояний процесса «-мерную область, в которой процесс не выходит во внештатные ситуации - это область всех работоспособных состояний процесса: £ с 5 •
Обобщая все вышеизложенное можно отметить, что основными задачами агента будут являться: оценка состояния системы, определение нового
состояния, определения пути его достижения и выполнение действий направленных на перевод системы в нужное состояние, т.е. целеполагание, целеустремление и целереализация.
Целеполагание
В основе целеполагания лежит модель системы в состояниях, представленная в работах [4, 5]. В общем случае все состояния системы можно разделить на две большие группы:
• работоспособные состояния, в которых система способна выполнять все функции (качество работы системы соответствует нормативным требованиям) или часть функций (при этом качество работы системы ухудшилось, но лежит в диапазонах нормы);
• неработоспособные состояния.
В качестве модели состояний системы предлагается аналог марковской модели - нечеткой модели состояний. Узлами графа могут быть индексы безопасности и риска - нечеткие оценки состояния системы. Ветви графа представляют интенсивности перехода.
Используя структурное подобие вероятностного графа и нечеткого графа, для моделирования процессов смены состояний рассматривается один из методов расчета Марковских процессов - топологический метод [5]. Подобие графов позволяет использовать одни и те же формулы для расчета:
• индексы надежности состояния для нечеткой системы;
• индексы коэффициентов готовности и простоя;
• индексы времени наработки на отказ и времени восстановления;
• выполнять вычисления тех же интегральных оценок состояний надежности для нечеткого графа.
Если при этом учитывать свойства функций принадлежности, появляется возможность проводить диагностирование информационной системы, с этой целью предполагается использовать топологический метод расчета надежности. Основные положения топологического метода могут быть применены для определения показателей надежности неустановившегося режима.
Основные этапы алгоритма оценки состояний объекта и расчета показателей надежности по нечеткой модели будут следующие:
• ввод информации о реальной ситуации на объекте;
• оценка индексов надежности состояний;
• оценка нечетких интенсивностей переходов из состояний в состояния;
• расчет показателей надежности системы.
Предлагаемый подход к оценке состояний сложной информационной системы на основе нечеткой Марковской модели отличается от вероятностной модели Маркова:
• во-первых, необходим меньший объем статистического материала. В основном нужны экспертные оценки;
• во-вторых, более гибкая система адаптации;
• в-третьих, больше возможностей выполнять диагностирование объекта уже на этапе расчета интегрального показателя надежности.
Целеустремление
Процесс целеустремления строится в предположении, что система находится в некотором начальном состоянии и может оценить возможные состояния на некотором перспективном горизонте своего существования. При реализации целеустремления ставится задача выбора наилучшего состояния в будущем. Для этой цели может быть использован механизм определения последовательной смены состояний на основе управляемых Марковских процессов с доходами.
Необходимо отметить, что в данном случае процесс целеустремления является моделью некоторых психофизиологических механизмов управления поведением высших живых существ.
Понятие "Целеустремленная Система" (ЦС) обозначает систему, осуществляющую достижение состояний, которые определяет входящая в нее целеполагающая подсистема. Средством достижения цели или желаемого
состояния является осуществление ею определенного поведения, реализуемого на основе агентной системы.
В наиболее общем случае задача теперь состоит в том, чтобы определить оптимальную стратегию поведения системы, то есть стратегию, при которой ее доход будет максимальным. Конечность числа этапов в данной задаче отражается в том, что важна смена состояний системы в течении N периодов.
Задача поиска стратегии превращается в задачу динамического программирования. Если через /п(г) обозначить максимальный средний ожидаемый доход, который можно получить за этапы от п до N включительно, то несложно вывести рекуррентное соотношение, связывающее /п(г) с числами /+1(7), где/ = 1, 2, ..., т
/«(О = шахк{£/=Г 1М /[г/ + /п+1(/)]}, п = 1, 2, ., N где к - номер используемой стратегии.
Это уравнение основывается на том, что суммарный доход г/ + /+/ получается в результате перехода из состояния / на этапе п в состояние / на этапе п+1 с вероятностьюр/к. Введем следующее вспомогательное обозначение:
ук = /т Ш /г/
Тогда написанное выше рекуррентное уравнение можно переписать следующим образом:
/(О = шахк{угк}
/п(0 = шахк{ук + £/=1т 1п<Лу/п-н/)}, п = 1, 2, ., N-1.
Этот алгоритм, использующий вычисления величин /п(г) и лежит в основе решения задачи принятия решений с конечным числом этапов. Более подробно об этом можно прочитать в [6, 7].
Целереализация
Целереализация предполагает использование многоагентной системы, как исполнительного механизма системы управления. В зависимости от уровня сложности решения задачи реализацию достижения заданного состояния, необходимо решать задачу синтеза исполнительной многоагентной системы.
В многоагентных системах весь спектр задач распределяется между всеми агентами, каждый из которых считается членом организации или группы. В соответствии с распределением задач каждому агенту осуществляется присвоение некоторой роли. Сложность роли, которую должен реализовывать агент, определяет возможности агента. Для организации процесса распределения задачи в многоагентных системах осуществляется декомпозиция глобальной задачи. Обратный процесс композиции найденных решений происходит под управлением некоторого единого «центра».
Необходимо отметить, что в результате декомпозиции для каждого состояния, список задач унифицирован. Это соответствует определенной структуре ролей агентной системы. При изменении структуры целеполагания, изменится и структура ролей агентной системы. Многоагентная система проектируется сверху вниз, исходя из ролей определенных для агентов и результатов разбиения глобальной задачи на подзадачи.
В случае использования децентрализованного искусственного интеллекта распределение заданий происходит в процессе взаимодействия агентов и носит больше спонтанный характер. Нередко это приводит к появлению в многоагентных системах резонансных, синергетических эффектов.
Механизм самоорганизации агентной структуры
Для того, что бы определиться каким образом возможно изменение структуры СА рассмотрим более подробно принцип её функционирования, начиная с нижнего уровня и ситуации при которых происходит её изменение. На рис. 2 приведена структура описывающая принцип функционирования агента нижнего уровня, выполняющего функции сбора и передачи информации. Данный агент порождается агентом верхнего уровня при поступлении заявки на регистрацию от объекта, к которому он будет прикреплен.
В момент порождения агента субъект приславший заявку должен указать контролируемые параметры для оценки состояния субъекта, данные параметры будут оцениваться сенсорами, а так же значения служащие связями между данным субъектом и другими субъектами его уровня (вход-выход). Входные данные для субъекта будут являться управляющим воздействием, с помощью которого можно менять его состояние.
После получения заявки, с указанными данными агент второго уровня формирует структуру агента сборщика и направляет его к субъекту. Если структура субъекта изменяется, появляется или пропадает необходимость в использовании некоторых сенсоров, через агент субъекта, можно послать заявку на «перерегистрацию» агента, но при этом весь набор статистической информации накопленной на агенте второго уровня за время функционирования агента первого уровня сохраняется.
В случае, когда для одного из субъектов необходимо отменить регистрацию в системе, с помощью самого агента первого уровня посылается заявка для отмены регистрации, и агент самоликвидируется.
Случай с модификацией уровня агентов сборщиков (уровня реактивных агентов рис. 3) является элементарным, это связано с простотой действий выполняемых агентами-сборщиками и с простотой их структуры.
Агент второго уровня (рефлекторный агент рис. 3) имеет более сложную структуру и гораздо большее число выполняемых функций по сравнению с агентом первого уровня. Одна из задач - порождения агентов первого уровня и модификации их структуры, описана выше. Особый интерес вызывает возможность и необходимость настройки механизмов прогнозирования на основе использования нейросетей. Рассмотрим случай, когда необходимо выполнять настройку нейросети или модификацию её структуры.
В начальный момент функционирования агента субъекта количество статистической информации почти всегда не достаточно чтобы выполнить настройку нейросети сложной структуры, поэтому в момент регистрации субъекта первого уровня формируется нейросеть с наиболее простой структурой, зависящей от количества прогнозируемых параметров.
При этом периодически будет оцениваться качество прогноза (сравнение прогноза с реальными результатами функционирования объекта). Если качество прогноза будет отличаться на заданное значение погрешности от реальных результатов функционирования субъекта, то будет выполняться функция изменения структуры самой нейросети (для этого будут использоваться алгоритмы настройки весов, и генерации структуры нейросети имеющие место в пакете МаАаЬ). Таким образом, агент второго уровня будет сам выполнять настройку и модификацию нейросетей используемых для прогнозирования изменения параметров субъекта.
Заключение
В заключении следует отметить, что система агентов, снабженная механизмом самоорганизации и адаптации, будет обладать рядом весомых преимуществ по сравнению с другими системами. Рассмотренная система будет иметь возможность изменения своей структуры в «синхронном» режиме с изменением структуры управляемой системы.
ЛИТЕРАТУРА
1. Классификация агентов. - Режим доступа: http://www.aiportal.ru/articles/multiagent-svstems/agent-classification.html
2. Виноградов, Г.П. Моделирование поведения агента с учетом субъективных представлений о ситуации выбора / Г.П. Виноградов, В.Н. Кузнецов // Искусственный интеллект и принятие решений. -2011, № 3. -С.58-72.
3. Виноградов, Г.П. Модель принятия решений целеустремленного поведения агента в слабоструктурированных средах / Г.П. Виноградов, В.Н. Кузнецов, В.Н. Богатиков // Программные продукты и системы. - 2012. - №2. - С.9-16.
4. Богатиков, В.Н. Применение нечетких цепей Маркова к оценке состояний надежности сложных информационных систем / Богатиков В.Н., Пророков А.Е. // IX Всероссийская школа-семинар «Прикладные проблемы управления макросистемами, г. Апатиты, 26 - 30 марта 2012 г. - Апатиты: Изд-во КНЦ РАН. -2012. -С.10-11.
5. Маслобоев, А.В., Богатиков, В.Н. Технология количественной оценки надежности многоагентных распределенных информационных систем на основе нечеткой Марковской модели / А.В. Маслобоев, В.Н. Богатиков // Научнотехнический вестник информационных технологий, механики и оптики.- 2012.-№5(81). - С.94-105.
6. Баруча-Рид, А.Т. Элементы теории марковских процессов и их приложения /А.Т. Баруча-Рид. - М.: Наука, 1969. - 512 с.
7. Таха, Х. Введение в исследование операций / Х. Таха. - М.: Издательский дом «Вильямс», 2001. - 912 с.
Сведения об авторах
Богатиков Константин Валерьевич - инженер, ФГУП ВНИИА «Автоматики» им. Духова Н. Л.
Россия, 115409, Москва, ул. Кошкина, д. 5, е-mail: BGTKKV@mail.ru
Konstantin V. Bogatikov - engineer, Federal State Unitary Enterprise All-Russia Research Institute
Of Automatics (VNIIA),
Russia, 115409, Moscow, st. Koshkina 5
Кириллов Иван Евгеньевич - к.т.н, младший научный сотрудник, е-mail: kirillov@xambler.ru
Ivan E. Kirillov - Ph.D. (Tech. Sci.), junior researcher
Морозов Иван Николаевич - к.т.н., младший научный сотрудник, e-mail: moroz.84@mail.ru
Ivan N. Morozov - Ph.D. (Tech. Sci.), junior researcher
