7Известия Кабардино-Балкарского научного центра РАН № 6(116) 2023
СИСТЕМНЫЙ АНАЛИЗ, УПРАВЛЕНИЕ И ОБРАБОТКА ИНФОРМАЦИИ
УДК 004.89 Научная статья
DOI: 10.35330/1991-6639-2023-6-116-132-141 EDN: IDMWRY
Кооперативное взаимодействие участников гетерогенного коллектива
автономных агентов с использованием нейрокогнитивных моделей
*
согласованного поведения К. Ч. Бжихатлов1, И. А. Пшенокова2, О. В. Нагоева2
Кабардино-Балкарский научный центр Российской академии наук 360010, Россия, г. Нальчик, ул. Балкарова, 2 2Институт информатики и проблем регионального управления -филиал Кабардино-Балкарского научного центра Российской академии наук 360000, Россия, г. Нальчик, ул. И. Арманд, 37-а
Аннотация. В статье представлены концепция и алгоритм работы системы кооперативного взаимодействия гетерогенного коллектива автономных агентов на основе мультиагентной нейрокогнитивной архитектуры. Кроме того, представлен процесс формирования общего графа проблемной ситуации в процессе планирования выполнения коллективной миссии, полученной человеко-машинным коллективом. Подобная система необходима для реализации согласованного целенаправленного поведения гетерогенных человеко-машинных коллективов. Актуальность исследования определяется необходимостью разработки алгоритма кооперативного взаимодействия участников гетерогенного коллектива автономных агентов для развития теории и практики создания интеллектуальных систем принятия решений и управления на основе мультиагентных нейрокогнитивных архитектур.
Ключевые слова: мультиагентные нейрокогнитивные архитектуры, мультиагентные системы, автономный агент, коллаборативная робототехника
Поступила 29.11.2023, одобрена после рецензирования 07.12.2023, принята к публикации 09.12.2023
Для цитирования. Бжихатлов К. Ч., Пшенокова И. А., Нагоева О. В. Кооперативное взаимодействие участников гетерогенного коллектива автономных агентов с использованием нейрокогнитивных моделей согласованного поведения // Известия Кабардино-Балкарского научного центра РАН. 2023. № 6(116). С. 132-141. DOI: 10.35330/1991-6639-2023-6-116-132-141
MSC: 68T42; 68T40 Review article
Cooperative interaction of participants in a heterogeneous team of autonomous agents using neurocognitive models of coordinated behavior*
K.Ch. Bzhikhatlov1, I.A. Pshenokova2, O.V. Nagoeva2
Kabardino-Balkarian Scientific Center of the Russian Academy of Sciences 360010, Russia, Nalchik, 2 Balkarov street 2Institute of Computer Science and Problems of Regional Management -branch of Kabardino-Balkarian Scientific Center of the Russian Academy of Sciences 360000, Russia, Nalchik, 37-a I. Armand street
© Бжихатлов К. Ч., Пшенокова И. А., Нагоева О. В., 2023
* Работа выполнена при финансовой поддержке РНФ (грант № 22-19-00787).
* The work was carried out with the financial support of the Russian Science Foundation (grant No. 22-19-00787).
Abstract. The concept and algorithm of operation of a system of cooperative interaction of a heterogeneous team of autonomous agents based on a multi-agent neurocognitive architecture are presented in the article. The article also describes the process of forming a general graph of a problem situation in the process of planning the implementation of a collective mission received by a human-machine team. Such a system is necessary to implement coordinated, goal-oriented behavior of heterogeneous human-machine teams. The relevance of the study is determined by the need to develop an algorithm for cooperative interaction between participants in a heterogeneous team of autonomous agents for the development of the theory and practice of creating intelligent decision-making and control systems based on multi-agent neurocognitive architectures.
Keywords: multi-agent neurocognitive architectures, multi-agent systems, autonomous agent, collaborative robotics
Submitted 29.11.2023, approved after reviewing 07.12.2023, accepted for publication 09.12.2023
For citation. Bzhikhatlov K.Ch., Pshenokova I.A., Nagoeva O.V. Cooperative interaction of participants in a heterogeneous team of autonomous agents using neurocognitive models of coordinated behavior. News of the Kabardino-Balkarian Scientific Center of RAS. 2023. No. 6(116). Pp. 132-141. DOI: 10.35330/1991-6639-2023-6-116-132-141
Введение
Расширение сферы применения роботов связано с рядом сопутствующих задач. В том числе при работе в сложных и труднопрогнозируемых условиях совместно с людьми и другими автономными роботами становится вопрос обеспечения согласованного поведения участников коллаборативной системы. Здесь под участниками системы понимаются автономные роботы, программы и люди, объединенные в общий гетерогенный мультиа-гентный человеко-машинный коллектив. При этом одним из перспективных способов организации коммуникации в подобном коллективе представляется использование диалоговых систем на основе интеллектуальной системы принятия решений (искусственного интеллекта). Такой подход обеспечивает совместимость с такими общими глобальными концепциями информатизации, как цифровая экономика, обволакивающий интеллект, интернет вещей, всепроникающие и встроенные вычисления (ubiquitous and embedded computing) [1]. Используя сервис диалоговой системы, человек сможет общаться, давать различные команды и ставить определенные задачи любым интеллектуальным агентам, как полностью программным, так и встроенным в систему управления роботом или устройством, на некотором ограниченном подмножестве естественного языка [2]. Наличие возможности быстрой эффективной коммуникации с интеллектуальными агентами с помощью диалогового интерфейса над специализированными подмножествами естественного языка позволит добиться уровня и интенсивности взаимодействия роботов под управлением таких интеллектуальных агентов и людей [3], необходимых для создания коллаборативных гетерогенных человеко-машинных систем коллективного поведения, настраиваемых на совместное согласованное решение сложных проблем.
Основная проблема, связанная с синтезом таких когнитивных архитектур, состоит в значительной вариативности конфигураций, структуры и состава когнитивных узлов [4]. Разработчик должен определиться с выбором соответствующих параметров для того, чтобы при применении когнитивной архитектуры сохранялся баланс между вычислительной эффективностью и семантической целостностью решений задач интеллектуальной обработки информации [5]. В когнитивных архитектурах на основе децентрализованных вычислителей, например в мультиагентной нейрокогнитивной архитектуре [6], эта проблема решается на основе применения алгоритмов динамического развития распределенной вычислительной конфигурации когнитивной архитектуры на основе мультиагентной кооперации между агентами-вычислителями.
1. Концепция кооперативного взаимодействия
ГЕТЕРОГЕННОГО КОЛЛЕКТИВА АВТОНОМНЫХ АГЕНТОВ
При решении сложных задач в труднопрогнозируемой среде необходимо обеспечение надежной системы взаимодействия между всеми агентами, участвующими в решении задачи. При этом для достижения поставленных целей могут быть использованы группы автономных робототехнических и программных систем различного вида [7]. Кроме того, для обеспечения эффективной работы подобной группы гетерогенных автономных агентов в нее могут быть включены операторы-люди как для постановки миссий, так и для контроля и содействия при их выполнении. При этом становится актуальной задача обеспечения согласованного поведения подобного человеко-машинного коллектива.
Учитывая сложность задач, выполняемых группами роботов в частично наблюдаемых и труднопрогнозируемых условиях внешней среды, в качестве основы для реализации системы принятия решений необходимо применение интеллектуальных систем управления [8]. В данной работе рассматривается система управления гетерогенным коллективом на основе рекурсивных мультиагентных нейрокогнитивных архитектур [9]. Данный формализм предполагает реализацию интеллектуальной системы управления за счет моделирования поведения головного мозга в виде мультиагентной системы. При этом в отличие от классических искусственных нейронных сетей нейрон рассматривается как отдельный актор с собственной целевой функцией максимизации внутренней энергии, собственной базой знаний, возможностью обмениваться информацией и заключать муль-тиагентные контракты с другими нейронами.
Стоит отметить, что принцип рекурсивности мультиагентной нейрокогнитивной архитектуры предполагает возможность вложенности систем интеллектуального принятия решений друг в друга при сохранении принципов организации функционирования и взаимодействия акторов на разных уровнях рекурсии. В частности, на рисунке 1 показана архитектура мультиагентной системы принятия решений, включающей в себя несколько интеллектуальных агентов. Они в свою очередь состоят из мультиагентных моделей нейронов, которые также состоят из отдельных акторов.
Рис. 1. Архитектура рекурсивной мультиагентной системы принятия решений Fig. 1. Architecture of a recursive multi-agent decision-making system
Подобная архитектура позволит организовать независимое моделирование систем принятия решений отдельных программных и робототехнических агентов в одной общей архитектуре. То есть на каждом уровне рекурсии реализуются возможности планирования поведения актора, пополнения собственных баз знаний, обмен сообщениями и заключение контрактов между акторами одного уровня. Подобная архитектура предполагает, что каждый отдельный интеллектуальный агент отвечает за систему принятия решений отдельного робота или программы. Кроме того, отдельные интеллектуальные агенты могут использоваться для моделирования возможного поведения независимых активных акторов в системе (операторы, другие люди, роботы, не входящие в данный коллектив). Это позволит обеспечить обмен сообщениями между всеми участниками коллектива.
Работу человеко-машинного коллектива условно можно разделить на этапы: постановка миссии, планирование, выполнение, контроль результатов и отчет. При этом чаще всего инициализатором миссии выступает человек-оператор. Для этого необходимо предусмотреть возможность взаимодействия с некоторыми из роботов и программных агентов за счет естественно-языкового интерфейса [10]. При этом сами роботы и программные агенты могут обмениваться данными, используя и другие протоколы передачи данных. В частности, для обеспечения сбора данных с общей сенсорной подсети возможна прямая передача сигнала с датчиков между системами управления автономными роботами. Кроме того, интеллектуальные агенты, отвечающие за моделирование поведения отдельных акторов имеют возможность обмениваться сообщениями в рамках работы мультиагентной нейрокогнитивной архитектуры. Кроме того, реализация системы распознавания речи позволит применять и естественно-языковой интерфейс между роботами. Данный подход приведет к излишней нагрузке на вычислительную систему, но при этом позволит легко интегрировать человека в машинный коллектив и упростит работу операторам. Структура взаимодействия акторов человеко-машинного коллектива показана на рисунке 2.
Рис. 2. Структура взаимодействия акторов человеко-машинного коллектива Fig. 2. Structure of interaction between actors of a human-machine team
Отдельно стоит рассмотреть процесс группового планирования действий при получении коллективной миссии. Коллективная миссия - это задача синтеза согласованного поведения всех участников гетерогенного коллектива (людей, автономных роботов и программных агентов) для достижения поставленных целей. При этом процесс синтеза поведения каждого агента состоит в построении графа проблемной ситуации. Пример графа показан на рисунке 3. На рисунке круг обозначает состояние системы «агент - среда», квадрат - возможные действия агента, а треугольник - возможную реакцию внешней среды на действия агента.
Рис. 3. Пример графа проблемной ситуации отдельного участника человеко-машинного коллектива
Fig. 3. An example of a graph of a problem situation for an individual participant
in a human-machine team
Начальной вершиной графа является текущее состояние системы «агент - среда», а искомой вершиной - целевое состояние. Каждое состояние характеризуется набором событий, связанных с агентом или окружающей средой и характеризующих данное состояние. Каждое состояние соединено дугами графа с одним или несколькими возможными действиями агента, которые в свою очередь могут привести к одному или нескольким вариантам реакции внешней среды. В результате на графе генерируются новые вершины с описанием набора возможных состояний среды, которые также ведут к генерации очередного набора «действие - реакция - состояние». Задача системы принятия решений - построить подобный граф до тех пор, пока в нем не появится вершина, соответствующая целевому состоянию среды (выполнению поставленной задачи), и найти наиболее эффективный путь к этой вершине. Причем эффективность пути определяется не длиной траектории на графе, а некоторой метрикой, построенной самим интеллектуальным агентом (например, минимизацией затраченной роботом энергии).
При построении графа проблемной ситуации для коллективной миссии в состав вершин включаются все события, зафиксированные участниками коллектива. При этом такая модель текущего (или возможного) состояния требует коллективной оценки, то есть каждый агент по отдельности оценивает сумму событий, входящих в вершину графа. Также вместо действия одного агента необходимо рассмотреть действия или бездействие всех участников коллектива. Здесь стоит отметить, что агенты-люди в данной модели могут
быть рассмотрены либо как акторы, чьими действиями можно управлять (если система принятия решений в рамках поставленной миссии имеет право ставить задачи операторам), или как активные агенты внешней среды, чью реакцию можно только смоделировать с некоторым уровнем достоверности. Часть графа проблемной ситуации для коллектива агентов приведена на рисунке 4.
Рис. 4. Граф проблемной ситуации при решении коллективной миссии Fig. 4. Graph of a problem situation when solving a collective mission
При построении данного графа возникает необходимость оценки достоверности событий, входящих в каждую вершину (верхняя часть круга на рисунке). Это связано с тем, что в коллективе роботов появляется возможность верифицировать некоторые данные, например, наличие выброса в показаниях датчиков у одного робота при отсутствии его у других может стать причиной невключения информации о данном событии в модель текущего состояния системы «агенты - среда». Кроме того, если среди исполнительных устройств системы принятия решений есть люди, становится отдельная подзадача расчета вероятности невыполнения ими поставленной задачи (в виде еще одной ветки с реакцией среды). Оценка нахождения целевой вершины ложится либо на доверенного интеллектуального агента, либо принимается при согласованном решении интеллектуальных агентов в системе.
2. Программная реализация кооперативного взаимодействия
ГЕТЕРОГЕННОГО КОЛЛЕКТИВА АВТОНОМНЫХ АГЕНТОВ Описанная выше архитектура интеллектуальной системы принятия решений может быть реализована как на базе единого вычислительного устройства, так и за счет распределенных вычислений на базе каждого робота в коллективе. При этом разработанная мультиагентная архитектура не требует каких-либо изменений при масштабировании и переносе на множество отдельных ЭВМ. Архитектура системы принятия решений, развернутой на одном сервере, показана на рисунке 5. В этом случае каждый участник человеко-машинного коллектива представлен набором сенсоров и эффекторов в мультиагент-ной архитектуре. Такая архитектура имеет более высокие требования к вычислительной возможности ЭВМ и надежности системы связи роботов с сервером.
Рис. 5. Архитектура системы принятия решений на одном сервере Fig. 5. Architecture of a decision-making system on one server
Напротив, при реализации распределенной архитектуры каждый программный и робо-тотехнический агент запускает часть мультиагентной архитектуры на собственной бортовой ЭВМ. Распределенная реализация мультиагентной архитектуры принятия решений показана на рисунке 6.
Рис. 6. Архитектура распределенной реализации системы принятия решений Fig. 6. Architecture of a distributed implementation of a decision-making system
В этом случае оператор может взаимодействовать с системой принятия решений (ставить миссии, получать задания и запрашивать отчеты) через любого из роботов. При этом каждый робот моделирует отдельного интеллектуального агента (или нескольких агентов при наличии вычислительных ресурсов) и передает все сообщения другим участникам коллектива за счет беспроводной связи или естественно-языкового интерфейса.
Заключение
Представленная система кооперативного взаимодействия участников гетерогенного коллектива автономных агентов может быть использована для обеспечения согласованного управления человеко-машинными коллективами и может контролировать основные процессы выполнения поставленной задачи. Алгоритм создания общего графа проблемной ситуации для коллективной миссии учитывает данные от всех участников человеко-машинного коллектива и направлен на максимизацию эффективности работы всей системы в целом, при этом может быть распределен на множество отдельных вычислительных устройств. Описанная архитектура построена на мультиагентной нейрокогнитивной модели системы принятия решений, что должно обеспечить возможность простого масштабирования и эффективного обучения интеллектуального агента. Архитектура обеспечивает эффективный и удобный протокол обмена данными как между автономными роботами, так и между роботом и человеком.
СПИСОК ЛИТЕРАТУРЫ
1. Рассел С., Норвиг П. Искусственный интеллект: современный подход. 2-е издание. Москва: Вильямс, 2007. 1424 с. ISBN 0-13-790395-2.
2. Бжихатлов К. Ч., Канкулов С. А., Малышев Д. А. и др. Интерактивное формирование пространственных онтологий автономного робота на основе нейрокогнитивных моделей семантики // Материалы XVI Всероссийской научно-практической конференции и XII молодежной школы-семинара «Перспективные системы и задачи управления». Ростов-на-Дону, 2021. С. 147-154.
3. Нагоев З. В., Пшенокова И. А., Нагоева О. В. Автоматическая реконструкция характера и темперамента пользователей на основе мультиагентного обучения нейрокогнитивных моделей сознательного и бессознательного по данным о поведении пользователя в сети интернет // Известия Кабардино-Балкарского научного центра РАН. 2021. № 6(104). С. 66-77.
4. Нагоев З. В., Сундуков З. А., Пшенокова И. А., Денисенко В. А. Архитектура САПР распределенного искусственного интеллекта на основе самоорганизующихся нейрокогни-тивных архитектур // Известия Кабардино-Балкарского научного центра РАН. 2020. № 2(94). С. 40-47.
5. Кулинич А. А. Модель поддержки принятия решений для образования коалиций в условиях неопределенности // Искусственный интеллект и принятие решений. 2012. № 2. С. 95-106.
6. Нагоев З. В. Интеллектика, или Мышление в живых и искусственных системах. Нальчик: Издательство КБНЦ РАН, 2013. 232 с.
7. Gorodetskii V.I., Karsayev O.V., Samoylov V.V., Serebryakov S.V. Applied multiagent systems of group control // Scientific and Technical Information Processing. 2010. Vol. 37. No. 5. Pp. 301-317.
8. Awni Hannun. The Role of Evolution in Machine Intelligence. 2021.
9. Nagoev Z., Pshenokova I., Nagoeva O., Sundukov Z. Learning algorithm for an intelligent decision making system based on multi-agent neurocognitive architectures // Cognitive Systems Research. 2021. Vol. 66. Pp. 82-88.
10. Нагоев З. В., Нагоева О. В. Обоснование символов и мультиагентные нейрокогнитив-ные модели семантики естественного языка. Нальчик: Издательство КБНЦ РАН, 2022. 150 с.
REFERENCES
1. Russell S., Norvig P. Iskusstvennyy intellekt: sovremennyypodkhod [Artificial Intelligence: A Modern Approach]. 2nd ed. Moscow: Vil'yams, 2007. 1424 p. ISBN 0-13-790395-2. (In Russian)
2. Bzhikhatlov K.Ch., Kankulov S.A., Malyshev D.A. et al. Interaktivnoye formirovaniye prostranstvennykh ontologiy avtonomnogo robota na osnove neyrokognitivnykh modeley semantiki [Interactive formation of spatial ontologies of an autonomous robot based on neurocognitive models of semantics]. Materialy XVI Vserossijskoj nauchno-prakticheskoj konferencii i XII molodezhnoj shkoly-seminara «Perspektivnye sistemy i zadachi upravleniya» [Materials of the XVI All-Russian Scientific and Practical Conference and the XII Youth School-Seminar "Advanced Systems and Management Problems"]. Rostov-na-Donu, 2021. Pp. 147-154. (In Russian)
3. Nagoev Z. V., Pshenokova I. A., Nagoeva O. V. Automatic reconstruction of the nature of users' temperament based on multi-agent training of neurocognitive models of the conscious and subconscious according to data on user behavior on the Internet. News of the Kabardino-Balkarian Scientific Center of RAS. 2023. 2021. No. 6(104). Pp. 66-77. (In Russian)
4. Nagoev Z.V., Sundukov Z.A., Pshenokova I.A., Denisenko V.A. CAD architecture of distributed artificial intelligence based on self-organizing neurocognitive architectures. News of the Kabardino-Balkarian Scientific Center of RAS. 2020. No. 2(94). Pp. 40-47. (In Russian)
5. Kulinich A.A. Decision support model for the formation of coalitions in conditions of uncertainty. Iskusstvennyy intellekt i prinyatiye resheniy [Artificial intelligence and decision making]. 2012. No. 2. Pp. 95-106. (In Russian)
6. Nagoev Z.V. Intellektika, ili Myshleniye v zhivykh i iskusstvennykh sistemakh [Intelligence, or thinking in living and artificial systems]. Nalchik: Izdatel'stvo KBNTS RAN, 2013. 232 p. (In Russian)
7. Gorodetskii V.I., Karsayev O.V., Samoylov V.V., Serebryakov S.V. Applied multiagent systems of group control. Scientific and Technical Information Processing. 2010. Vol. 37. No. 5. Pp. 301-317.
8. Awni Hannun. The Role of Evolution in Machine Intelligence. 2021.
9. Nagoev Z., Pshenokova I., Nagoeva O., Sundukov Z. Learning algorithm for an intelligent decision making system based on multi-agent neurocognitive architectures. Cognitive Systems Research. 2021. Vol. 66. Pp. 82-88.
10. Nagoev Z.V., Nagoeva O.V. Obosnovaniye simvolov i mul'tiagentnyye neyrokognitivnyye modeli semantiki yestestvennogo yazyka [Justification of symbols and multi-agent neurocognitive models of natural language semantics]. Nalchik: Izdatel'stvo KBNTS RAN, 2022. 150 p. (In Russian)
Информация об авторах
Бжихатлов Кантемир Чамалович, канд. физ.-мат. наук, зав. лабораторией «Нейрокогнитивные автономные интеллектуальные системы», Кабардино-Балкарский научный центр РАН;
360002, Россия, г. Нальчик, ул. Балкарова, 2;
haosit13@mail.ru, ORCID: https://orcid.org/0000-0003-0924-0193
Пшенокова Инна Ауесовна, канд. физ.-мат. наук, зав. лаб. «Интеллектуальные среды обитания», Институт информатики и проблем регионального управления - филиал Кабардино-Балкарского научного центра РАН;
360000, Россия, г. Нальчик, ул. И. Арманд, 37-а;
pshenokova_inna@mail.ru, ORCID: https://orcid.org/0000-0003-3394-7682
Нагоева Ольга Владимировна, науч. сотр. отдела «Мультиагентные системы», Институт информатики и проблем регионального управления - филиал Кабардино-Балкарского научного центра РАН;
360000, Россия, г. Нальчик, ул. И. Арманд, 37-а;
nagoeva_o@mail.ru, ORCID: https://orcid.org/GGGG-GGG3-234i-796G
Information about the authors
Bzhikhatlov Kantemir Chamalovich, Candidate of Physical and Mathematical Sciences, Head of the Laboratory "Neurocognitive Autonomous Intelligent Systems", Kabardino-Balkarian Scientific Center of the Russian Academy of Sciences;
36GGG2, Russia, Nalchik, 2 Balkarov street;
haositi3@mail.ru, ORCID: https://orcid.org/GGGG-GGG3-G924-Gi93
Pshenokova Inna Auesovna, Candidate of Physical and Mathematical Sciences, Head of the Laboratory "Intelligent Living Environments", Institute of Computer Science and Problems of Regional Management -branch of Kabardino-Balkarian Scientific Center of the Russian Academy of Sciences;
36GGGG, Russia, Nalchik, 37-a I. Armand street;
pshenokova_inna@mail.ru, ORCID: https://orcid.org/GGGG-GGG3-3394-76B2
Nagoeva Olga Vladimirovna, Researcher of the Department "Multiagent Systems", Institute of Computer Science and Problems of Regional Management - branch of Kabardino-Balkarian Scientific Center of the Russian Academy of Sciences;
36GGGG, Russia, Nalchik, 37-a I. Armand street;
nagoeva_o@mail.ru, ORCID: https://orcid.org/GGGG-GGG3-234i-796G
