12Известия Кабардино-Балкарского научного центра РАН № 6(110) 2022
ИНФОРМАЦИОННЫЕ ТЕХНОЛОГИИ И ТЕЛЕКОММУНИКАЦИИ
УДК 004.89 Научная статья
DOI: 10.35330/1991-6639-2022-6-110- 76-91
Онтофилогенетические алгоримы синтеза фенотипов интеллектуальных программных агентов для применения в задачах многопоколенной оптимизации управляющих нейрокогнитивных архитектур
А. З. Апшев1, Б. А. Аталиков2, С. А. Канкулов2, Д. А. Малышев2, З. А. Сундуков2, А. З. Энес2
1 Кабардино-Балкарский научный центр Российской академии наук
360010, Россия, г. Нальчик, ул. Балкарова, 2 2 Институт информатики и проблем регионального управления -филиал Кабардино-Балкарского научного центра Российской академии наук 360000, Россия, г. Нальчик, ул. И. Арманд, 37-а
Аннотация. Цель исследования - разработка методов и алгоритмов онтофилогенетического синтеза программных агентов искусственного интеллекта на основе мультиагентных нейрокогнитивных архитектур, позволяющих сочетать ситуативность и объяснительную силу обучения с подкреплением и адаптационную эффективность и устойчивость генетических алгоритмов. Разработан алгоритм синтеза фенотипов систем управления интеллектуальных агентов по данным их генотипов. Разработан программный комплекс имитационного моделирования процессов онтофилогенетического синтеза мультиагентных нейрокогнитивных архитектур. Выполнены эксперименты по созданию фенотипов интеллектуальных агентов на основе разработанных генотипов управляющих мультиагентных нейрокогнитивных архитектур.
Ключевые слова: искусственный интеллект, мультиагентные системы, генетические алгоритмы, онтофилогенетическое обучение
Поступила 01.12.2022, одобрена после рецензирования 08.12.2022, принята к публикации 15.12.2022
Для цитирования. Апшев А. З., Аталиков Б. А., Канкулов С. А., Малышев Д. А., Сундуков З. А., Энес А. З. Онтофилогенетические алгоримы синтеза фенотипов интеллектуальных программных агентов для применения в задачах многопоколенной оптимизации управляющих нейрокогнитивных архитектур // Известия Кабардино-Балкарского научного центра РАН. 2022. № 6(110). С. 76-91. DOI: 10.35330/1991-6639-2022-6-110-76-91
MSC 68T42 Original article
Ontophylogenetic algorithms for the synthesis of intellectual phenotypes of software agents for use in tasks of multigenerational optimization of control neurocognitive architectures
A.Z. Apshev1, B.A. Atalikov2, S.A. Kankulov2, D.A. Malyshev2, Z.A. Sundukov2, A.Z. Enes2
1 Kabardino-Balkarian Scientific Center of the Russian Academy of Sciences 360010, Russia, Nalchik, 2 Balkarov street
2 Institute of Computer Science and Problems of Regional Management -branch of Kabardino-Balkarian Scientific Center of the Russian Academy of Sciences
360000, Russia, Nalchik, 37-a I. Armand street
Abstract. The purpose of the study is to develop methods and algorithms for the ontophylogenetic synthesis of artificial intelligence software agents based on multi-agent neurocognitive architectures that allow combining the situationality and explanatory power of reinforcement learning and the adaptive
© Апшев А. З., Аталиков Б. А., Канкулов С. А., Малышев Д. А., Сундуков З. А., Энес А. З., 2022
efficiency and stability of genetic algorithms. An algorithm for synthesizing the phenotypes of control systems of intelligent agents based on the data of their genotypes has been developed. A software package for simulating the processes of ontophylogenetic synthesis of multi-agent neurocognitive architectures has been also developed. Experiments were carried out to create phenotypes of intelligent agents based on the developed genotypes of control multi-agent neurocognitive architectures.
Keywords: artificial intelligence, multi-agent systems, genetic algorithms, ontophylogenetic learning
Submitted 01.12.2022, approved after reviewing 08.12.2022, accepted for publication 15.12.2022
For citation. Apshev A.Z., Atalikov B.A., Kankulov S.A., Malyshev D.A., Sundukov Z.A., Enes A.Z. Ontophylogenetic algorithms for the synthesis of intellectual phenotypes of software agents for use in tasks of multigenerational optimization of control neurocognitive architectures. News of the Kabardino-Balkarian Scientific Center of RAS. 2022. No. 6(110). Pp. 76-91. DOI: 10.35330/1991-6639-2022-6-110-76-91
Введение
Интеллектуальные программные агенты на основе мультиагентных когнитивных архитектур представляют бурно развивающуюся перспективную отрасль искусственного интеллекта [1]. К их основным преимуществам при решении задач интеллектуальной обработки информации можно отнести априорную декомпозицию исходных проблем на подзадачи, выполняемую функциональными узлами когнитивной архитектуры, опору на метафору проектирования рационального агента, позволяющую эффективно вводить в состав системы функции идентификации и разметки состояний, широкую вариативность в выборе формального аппарата методов обработки информации в конкретных когнитивных узлах.
Основное предназначение управляющих нейрокогнитивных архитектур, в когнитивных узлах которых располагаются имитационные модели нейронов головного мозга, состоит в разработке автономных самообучающихся систем и контуров управления сложными техническими [2, 3] и социо-техническими [4], в том числе распределенными [5], объектами.
Основная проблема, связанная с синтезом таких когнитивных архитектур, состоит в значительной вариативности конфигураций, структуры и состава когнитивных узлов. Разработчик должен определиться с выбором соответствующих параметров для того, чтобы при применении когнитивной архитектуры сохранялся баланс между вычислительной эффективностью и семантической целостностью решений задач интеллектуальной обработки информации. В когнитивных архитектурах на основе децентрализованных вычислителей, например в мультиагентной нейрокогнитивной архитектуре [6], эта проблема решается на основе применения алгоритмов динамического развития распределенной вычислительной конфигурации когнитивной архитектуры на основе мультиагентной кооперации между агентами-вычислителями.
Проблема, однако, заключается в том, что методы обучения таких мультиагентных когнитивных архитектур к настоящему моменту слабо разработаны. Применение классических методов машинного обучения сталкивается с проблемой комбинаторного взрыва, так как размерности динамических задач, решаемых автономными системами управления в условиях реальной среды, весьма велики. Поэтому интересной представляется идея дополнительного использования для синтеза управляющих когнитивных архитектур методов многопоколенной оптимизации, хорошо зарекомендовавших себя для решения задач интеллектуальной обработки информации большой размерности в слабо структурированных средах. В данном случае речь идет о т.н. филогенетическом обучении, которое имеет место при использовании генетических алгоритмов. Новые знания формируются при создании новой популяции, в момент «рождения» особи. В этом состоит ключевое отличие от обучения онтогенетического, которое определяет алгоритмы модификации знаний в период функционирования интеллектуального агента (во время его «жизни»).
Идея совмещения обучения программных интеллектуальных агентов на основе комбинации онтогенетических и филогенетических алгоритмов, имея столь эффективную аналогию в методах обучения естественных интеллектуальных агентов, активно разрабатывается в течение почти всего периода становления эволюционных вычислений [7, 8]. Для обозначения смешанных методов и алгоритмов обучения интеллектуальных агентов, комбинирующих оба этих подхода, мы будем использовать термин «онтофилогенетический» (метод, алгоритм).
К настоящему времени онтофилогенетический подход наиболее широкое развитие получил в части многопоколенной оптимизации состава, структуры и функциональных свойств искусственных нейронных сетей, сформировав целое научное направление, получившее название «нейроэволюция» [9]. В [10] рассматриваются онтофилогенетические алгоритмы с онтологической частью на базе обучения с подкреплением.
В [11] рассматривается нейроэволюционное обучение когнитивной архитектуры, состоящей из конкурирующих искусственных нейронных сетей. В этой онтофилогенетической архитектуре на каждом шаге обучения в зависимости от изменения скорости сходимости решения делается выбор между онтологическим и филогенетическим методом модификации параметров. Онтофилогенетические методы в большей степени ориентированы на синтез и обучение вычислительных архитектур, построенных на основе концепции агентности вычислителя.
Например, в [12] описывается онтофилогенетическая когнитивная архитектура, представляющая собой рационального агента искусственной жизни, синтезирующего поведение в симулированной среде. Выбор действий осуществляется агентами на основе анализа состояний системы «агент - среда» с помощью продукционных правил. Гены кодируют структуру и переходные функции когнитивных узлов. Фитнес-функция генетического алгоритма связана со способностью агентов побеждать в имитации естественного отбора в симулированной среде.
В [13] онтофилогенетический подход применяется для синтеза системы управления в рамках парадигмы развивающихся роботов (Developmental Robotics). Генетический алгоритм, модифицирующий когнитивную архитектуру, синтезирующую поведение реального робота, позволяет ему решать целевые задачи в реальной среде, перманентно адаптируясь к меняющимся условиям.
Онтофилогенетический подход позволяет реализовать более гибкую стратегию решения задач синтеза поведения интеллектуальных агентов на основе комбинации онтологических и генетических методов поиска с учетом специфики содержательного смысла и конфигурации пространства поиска.
Кроме того, мультиагентная нейрокогнитивная архитектура, как правило, является имитационной моделью многоклеточного биологического органа - мозга, состоящего из отдельных нейронных клеток, которые сами в свою очередь состоят из активных внутренних конструктов - органелл. Структурно-функциональные свойства последних также зависят от состава и взаимосвязей образующих их активных элементов - белковых макромолекул, которые в свою очередь также сложноструктурированы на базе отдельных конструктов, таких как аминокислоты, сахаристые основания и т.п. Эти минимальные структурно-функциональные элементы уже непосредственно кодируются генно-детерминированными процессами, однако возникают они не в результате некоторого идеального («мгновенного») синтеза (как, например, в генетических алгоритмах), а в результате динамического общесистемного диахронического эпигенетического процесса экспрессии генов.
Возникает целая группа вопросов. Надо ли моделировать многоклеточную структуру организма? Какова в этом случае минимальная структурно-функциональная единица, оказывающая влияние на процессы синтеза поведения интеллектуальным агентом? Требуются ли отдельные геномы для каждой минимальной структурно-функциональной единицы? Какую информацию должны содержать в себе гены? Какой у них должен быть формат? Какова должна быть структура генома, структура генотипа интеллектуального агента? Надо ли моделировать экспрессию генов как динамический эпигенетический диахронических
процесс? На каком уровне структурной вложенности мультиагентной нейрокогнитивной архитектуры необходимо ее моделировать? Как и с помощью каких обратных связей управлять этим процессом?
Актуальность исследования обусловлена необходимостью разработки методов синтеза программных агентов искусственного интеллекта на основе мультиагентных нейрокогнитивных архитектур с помощью онтофилогенетических алгоритмов, позволяющих сочетать ситуативность и объяснительную силу обучения с подкреплением и адаптационную эффективность и устойчивость генетических алгоритмов.
1. Интеллектуальный агент на основе
мультиагентной нейрокогнитивной архитектуры
Интеллектуальный агент погружен в реальную среду с помощью своих сенсоров и эффекторов. Потоки неструктурированных данных, производимых сенсорами, формируют основу для идентификации состояний системы «интеллектуальный агент - среда», которые далее с помощью функции разметки состояний атрибутируются значениями приращений целевой функции. Синтез поведения интеллектуального агента в общем случае направлен на переход из менее энергетически выгодных в более энергетически выгодные состояния.
Математической абстракцией синтеза поведения интеллектуального агента в реальной среде является проактивное построение пути до горизонта планирования в динамическом дереве принятия решений, субоптимального по критерию максимизации целевой функции при условии непопадания в т.н. терминальные состояния, характеризующиеся нулевыми значениями целевой функции.
Мультиагентная нейрокогнитивная архитектура интеллектуального агента состоит из когнитивных узлов, в которых находятся агенты-нейроны (агнейроны), являющиеся рациональными программными агентами, система управления которыми также представляет собой мультиагентную когнитивную архитектуру. Однако в функциональных узлах когнитивной архитектуры агнейронов содержатся уже не агнейроны, а акторы - программные агенты, не являющиеся рациональными в силу того, что они не имеют своих собственных целевых функций. И агнейроны, и интеллектуальные агенты имеют свои собственные целевые функции, которые для агнейронов, входящих в состав функциональных узлов нейрокогнитивной архитектуры интеллектуального агента, мы считаем локальными целевыми функциями, а для самого этого интеллектуального агента - глобальной целевой функцией.
Акторы в составе когнитивной архитектуры агнейрона, как и агнейроны в составе когнитивной архитектуры интеллектуального агента, структурированы в соответствии с типом своей функциональности в составе специализированных когнитивных узлов. Для обозначения агентов (акторов, агнейронов) когнитивного узла распознавания событий на рисунке 1 используется плоская пиктограмма в виде круга, а на рисунке 2 - трехмерная пиктограмма в форме шара.
Такие агенты выполняют функциональную репрезентацию наблюдаемых объектов (агенты-объекты - агнейроны-объекты, акторы-объекты). Агенты, обозначенные на рисунках 1 и 2 пиктограммами в форме плоского и объемного многоугольников (агенты-действия), представляют отображения наблюдаемых действий; в форме плоского и объемного трилистников (событийные агенты) - т.н. мультиагентных событий, представляющих собой предикативные конструкции, описывающие наступление некоторых наблюдаемых событий; в форме плоских и объемных «сердечек» (агенты оценки состояний) - агентов, обеспечивающих разметку состояний системы «агент - среда» значениями функции разметки состояний; в форме плоских и объемных «флажков» (агенты целеполагания) - агентов, управляющих синтезом и выбором целевых состояний, в форме плоской и объемной стрелки (агенты синтеза действий) - агентов, управляющих выбором действий, необходимых для достижения целевых состояний (рис. 1).
Интероцептор энергии
Коммуникативный рецептор
( Эффектор Экстероцептор , чата , энергии^ ...¿■■'"""г^'
А А
□ □
□ Ш
...г..
С ûe
© т
'3V-V;
.1... \\ Ле '.- \
...............X........
\ Сообщения '
.........
¿'"Энергия".: С."Делать?".': /"""••(
; Л Т. of-
/ .....
: <* «А» "'
о
©
^^.....^^^ «\priiaio
Что? '.'.Уменьшаться".': . Л '^.Восстановиться."'.' '-..(печатать в чат).-'
,.'"" Энергия ... '--..уменьшаться...-',
...........XIX..
'"' Энергия 4
восстановиться
К7-®
роблемаГ""--, Условие" """ч^ /1 Дефицит "'"•-, .*'" Целевое \
i: дефициу.^:!. '"-....решения?___Д.--"" \ '-.... устранен '-... состояние?,..-*'
ёЮ........© v\
£... ......А..........
...................<§>................
.............................©.....................U@ .......<ЗЦ...,
(.Чтобы ИЗ^.,'5 '.'.'.'.Надо сделать?";.-- ! *Чтобы в..,5
2Г / "" - ■" % /
'.'..Кричать «А».".'"
Рис. 1. Базовая мультиагентная нейрокогнитивная архитектура интеллектуального агента Fig. 1. Basic multi-agent neurocognitive architecture of an intelligent agent
На рисунке 2 приведено изображение минимальной мультиагентной нейрокогнитивной архитектуры, полученное с помощью разработанной нами программы имитационного моделирования филогенетического обучения интеллектуальных агентов.
Ключевой метод обучения вышеописанных интеллектуальных агентов состоит в изменении состава агнейронов и акторов, структуры связей и типов отношений между ними на основе ранее разработанного нами алгоритма онтонейроморфогенеза [14], управляющего этими изменениями в соответствии с принципами нейропластичности головного мозга. Сущность этого алгоритма состоит в том, что т.н. аксо-дендрональные связи, выполняющие функции ассоциативных связей между агнейронами, вырастают между теми из этих аг-нейронов, которые статистически часто возбуждаются (переходят в состояние активной обработки сигналов) одновременно. Эти связи показаны на рисунке 2 линиями, направленными от аксонов (расположены в верхней части трехмерных пиктограмм) одних агнейронов к дендритам (расположены в нижней части трехмерных пиктограмм) других агнейронов. Здесь мы используем хорошо известный принцип обучения Хеба, однако в мультиагентных нейрокогнитивных архитектурах при его применении учитываются структурные ограничения - ассоциативные контракты могут заключать между собой только агнейроны определенных типов. Под контрактом понимается мультиагентный алгоритм, определяющий
взаимно согласованное поведение двух агентов, в рамках которого они ставят друг перед другом задачи, формируют условия их выполнения и вознаграждения за это, принимают на себя обязательства по выполнению задач, передают друг другу вознаграждения и штрафы по результатам совместной работы.
Рис. 2. Базовый фенотип интеллектуального агента Fig. 2. Basic phenotype of an intelligent agent
Как видно на рисунке 2, нейрокогнитивная архитектура состоит из уровней, т.н. нейро-когнитонов [15], являющихся функциональными узлами нейрокогнитивной архитектуры, содержащими внутри себя агнейроны различных типов. Агнейроны в составе нейрокогни-тонов на рисунке 2 изображены в более «узких» слоях, вслед за которыми приведены более «широкие» слои, в которых визуализируются сообщения, отправляемые агнейронами одних типов (содержащиеся в нейрокогнитонах определенных типов) агнейронам различных других типов на основе информации, содержащейся в т.н. мультиагентных базах знаний в составе акторов, которые образуют встроенную в агнейрон мультиагентную (мультиак-торную) когнитивную архитектуру (рис. 3).
Рис. 3. Базовый фенотип агнейрона-объекта Fig. 3. Basic phenotype of the agneuron-object
Мультиакторная когнитивная архитектура, в свою очередь, состоит из акторкогнито-нов, содержащих в своем составе акторов. Структурно и функционально нейрокогнитоны и акторкогнитоны соответствуют вышеописанным функциональным узлам инварианта муль-тиагентной когнитивной архитектуры. Акторы отличаются от агнейронов также тем, что работают на основе процедурных алгоритмов, задаваемых продукционными правилами.
Структура и состав акторкогнитонов и нейрокогнитонов могут варьироваться в зависимости от типа агнейрона (филогенетические различия) и его опыта, сформировавшего на основе онтологического обучения. В целом задачей мультиакторной когнитивной архитектуры является синтез поведения агнейрона, а задачей мультинейронной когнитивной архитектуры - синтез поведения всего интеллектуального агента.
При выполнении мультиагентной нейрокогнитивной архитектурой интеллектуального агента синтеза плана поведения формируются множественные цепочки взаимодействий аг-нейронов между собой, построенные на механизме обмена информацией на энергию. Агнейроны могут передавать («продавать») друг другу информацию с помощью отправки сообщений, получая за это друг от друга вознаграждение («оплату») с помощью отправки порций энергии. Под энергией понимается безразмерная величина, в терминах которой выражены значения функций разметки состояний и целевых функций агентов.
В конечном счете после того, как искомый план синтезирован и исполнен, интеллектуальный агент переходит в некоторое новое состояние. Если в результате такого перехода интеллектуальный агент приобретает дополнительную энергию из среды, то это вознаграждение с использованием задействованных контрактов между нейронами распределяется по таким цепочкам, что позволяет агнейронам поддерживать уровень энергии на необходимом уровне и мотивирует их к дальнейшему взаимодействию.
Так как поведение агнейрона синтезируется на основе мультиагентных алгоритмов, выполняемых акторами в его составе, а акторы выполняют свои функции на основе продукционных правил, находящихся в их базах знаний, то, вероятно, генотип интеллектуального агента должен обеспечивать возможность параметрической вариативности состава и содержания знаний акторов, структуры агнейронов и структуры интеллектуальных агентов.
От состава и содержания правил зависит поведение акторов. Поведение агнейронов не зависит от правил непосредственно, так как у агнейронов нет своих собственных правил. Оно зависит от того, акторы каких именно типов и какие именно акторы входят в его состав, а также от структуры и содержательного смысла (функциональной топологии) контрактов, заключенных между акторами в составе данного агнейрона.
Объектом данного исследования являются процессы онтофилогенетического синтеза интеллектуальных программных агентов.
Предмет исследования - возможность создания управляющих мультиагентных нейроко-гнитивных архитектур интеллектуальных агентов на основе комбинированного использования онтогенетических и филогенетических методов обучения.
Цель исследования - разработка системы онтофилогенетического синтеза программных агентов искусственного интеллекта на основе мультиагентных нейрокогнитивных архитектур.
Основные задачи работы :
- разработка методов и алгоритмов синтеза фенотипов систем управления интеллектуальных агентов по данным их генотипов;
- разработка программного комплекса имитационного моделирования процессов онто-филогенетического синтеза мультиагентных нейрокогнитивных архитектур и выполнение экспериментов по созданию фенотипов интеллектуальных агентов на их основе.
2. Онтофилогенетика интеллектуального агента
Минимальная структурно-функциональная единица, оказывающая влияние на процессы синтеза поведения интеллектуального агента, - это единичная клауза продукционного правила базы знаний актора. Так как каждый актор в составе определенного агнейрона относится к определенному типу и занимает определенное место (по порядку, по функционалу) в акторкогнитоне данного агнейрона, он в этом смысле является уникальным и поэтому требует наличия собственного отдельного генома.
Геном актора, помимо информации о каждой клаузе каждого правила базы знаний актора, должен кодировать также информацию о контрактах этого актора, которые должны быть обеспечены филогенетически, т.е., должны быть созданы в процессе формирования фенотипа интеллектуального агента на основании информации, содержащейся в его генотипе, и, в частности, в процессе создания фенотипа конкретного (содержащего данный актор) агнейрона по данным генотипа этого нейрона и, в частности, по данным генома данного конкретного актора.
Информация о составе мультиакторной когнитивной архитектуры конкретного агнейрона должна содержаться уже на уровне этого конкретного агнейрона, т.е. она должна кодироваться геномом агнейрона. К такой информации, в частности, относится структурный состав актор-когнитонов данного агнейрона (указание на то, какие акторкогнитоны и в каком порядке входят в его состав), а также состав каждого из акторкогнитонов данного агнейрона (указание на то, какие конкретно акторы входят в состав каждого из акторкогнитонов).
Кроме того, геном агнейрона должен также содержать информацию о структуре контрактов, в которые данный агнейрон должен быть вовлечен в процессе начального онтологического развития при переходе от генотипа к фенотипу.
Структура базы знаний разработанного генома актора представлена на рисунке 4.
Рис. 4. Схема строения генома актора Fig. 4. Scheme of the structure of the actor genome
На рисунке 5 приведена структура разработанного генома агнейрона.
Рис. 5. Схема строения генома агнейрона Fig. 5. Scheme of the structure of the agneuron genome
В общем случае предполагается, что интеллектуальный агент после погружения в среду перед началом своего функционирования непосредственно в интересах решения целевых задач должен быть уже в достаточной степени сформирован для выполнения базового поведения. Поэтому генотип интеллектуального агента должен быть устроен таким образом, чтобы при создании стартового фенотипа на его основе все необходимые для выполнения такого поведения базовые функциональные системы (агнейроны, контрактные связи между ними, акторы в составе агнейронов) уже были бы сформированы.
Для того чтобы надежно обеспечивать развитие функциональных систем, отвечающих за синтез поведения интеллектуального агента в различных ситуациях, необходимо добиться, чтобы генетический алгоритм не смешивал между собой гены, кодирующие структуру и состав акторов различных акторных когнитонов в мультиакторной когнитивной архитектуре агнейронов, а также гены, кодирующие структуру и состав агнейронов различных нейрокогнитонов.
Для этого и на уровне геномов акторов, и на уровне геномов агнейронов, и на уровне генома интеллектуального агента должно быть несколько различных хромосом, и они должны отвечать за кодирование признаков соответствующих функциональных узлов (ак-торкогнитоны, нейрокогнитоны) на соответствующих уровнях. Таким образом, применяемый генетический алгоритм должен быть многохромосомным и учитывающим мультиа-гентную иерархическую структуру генотипа интеллектуального агента.
С учетом того, что минимальной структурно-функциональной единицей управления поведением акторов является клауза продукционного правила, именно она должна стать минимальной единицей кодирования, за которую отвечает один локус хромосомы.
Таким образом, геном актора должен содержать в себе кодирующие локусы для каждой клаузы каждого правила его стартовой базы знаний.
Кроме того, хромосомы агнейронов должны содержать код для синтеза структуры и состава внутренних акторкогнитонов, а хромосома интеллектуального агента - код для синтеза структуры и состава нейрокогнитонов в составе мультиагентной нейрокогнитивной архитектуры.
Схема генетического алгоритма, применимого для филогенетического синтеза интеллектуальных агентов на основе мультиагентных нейрокогнитивных архитектур, приведена на рисунке 6.
Рис. 6. Многохромосомный алгоритм обмена генетическими данными интеллектуальных агентов: X - операция кроссинговера, M - операция мутации
Fig. 6. Multichromosomal algorithm for the exchange of genetic data of intelligent agents: X- crossing over operation, M - mutation operation
Данный генетический алгоритм позволит проводить обмен генами между хромосомами по гомологичным участкам с учетом возможной разницы в длине хромосом. При этом гомология будет выстраиваться относительно участков, специализирующихся на формировании отдельных функциональных систем формируемого фенотипа. При выполнении генетического алгоритма обмен генетической информацией между участками, кодирующими различные структурно-функциональные подсистемы, ни на уровне акторов, ни на уровне аг-нейронов, ни на уровне интеллектуальных агентов осуществляться не будет.
3. Имитационное моделирование синтеза фенотипа интеллектуального агента на основе мультиагентной нейрокогнитивной архитектуры
С целью исследования сформированных положений о структуре генотипа и его соотношении с фенотипами интеллектуальных агентов с помощью разрабатываемой нами программы редактирования таких агентов были построены имитационные модели генотипов и проведены эксперименты по созданию мультиагентных нейрокогнитивных архитектур на их основе.
Для того чтобы интеллектуальный агент мог выполнять задачи функционального назначения, сочетая филогенетические и онтологические модификации в процессе роста и развития своей управляющей мультиагентной нейрокогнитивной архитектуры, начиная с момента своего «рождения», он должен иметь возможность поддерживать свою «жизнь», выполняя определенный гомеостатический цикл. Поэтому к моменту рождения он должен обладать управляющей мультиагентной нейрокогнитивной архитектурой, обеспечивающей такой базовый функционал (рис. 1). На этом рисунке овалами с пунктирным абрисом показаны сообщения, которыми различные агнейроны в составе мультиагентной нейрокогни-тивной архитектуры интеллектуального агента обмениваются между собой с целью выполнения мультиагентных алгоритмов синтеза поведения. Числами в кружочках, размещенными на пунктирных стрелках, показаны порядковые номера в последовательностях действий этих мультиагентных алгоритмов. Был проведен эксперимент по синтезу фенотипа такого агента на основе разработанного генотипа, включающего в себя помимо непосредственно генома интеллектуального агента также еще и геномы всех входящих в него аг-нейронов и всех акторов, входящих в эти агнейроны. Для описания продукционных правил базы знаний, задающих геномы акторов и агнейронов была использована разметка данных в формате JSON.
Визуализация первоначального фенотипа, полученного в результате непосредственной интерпретации данных геномов акторов и агнейронов и другой содержащейся в генотипе информации, приведена на рисунке 2.
Визуализация показывает, что в результате имитации филогенетически детерминированных изменений на стадии «эмбрионального развития» сформировалась минимальная базовая мультиагентная нейрокогнитивная архитектура интеллектуального агента, содержащая несколько нейрокогнитонов, в которых расположены агнейроны различных типов, связанные друг с другом начальными контрактами.
На рисунке 3 представлена внутренняя мультиакторная когнитивная архитектура аг-нейрона-объекта, построенная на этапе «эмбрионального» развития интеллектуального агента. В обоих случаях видно, что сформированные мультиагентные когнитивные архитектуры содержат незначительное количество агентов, между которыми установлено минимальное количество связей.
После «рождения» (размещения в среду имитационного моделирования) интеллектуального агента начинается его «жизнь», основная целевая задача которой состоит в максимизации целевой функции энергии, которая необходима интеллектуальному агенту для
поддержания своей жизни. В результате перехода в состояния, связанные с низкими значениями энергии, минимальная мультиагентная нейрокогнитивная архитектура интеллектуального агента (рис. 1), используя опции программного обеспечения имитационной модели, синтезирует поведение, направленное на взаимодействие с пользователями (операторами) системы с целью получения от них вознаграждений в виде порций энергии. В процессе синтеза и выполнения такого поведения, взаимодействия с пользователями на основе отправки сообщений пользователям и приема от них сообщений и порций энергии возникают состояния систем «агнейрон - среда», системы «интеллектуальный агент -среда», которые распознаются антецедентными частями продукционных правил геномов акторов и агнейронов в качестве признаков событий, требующих запуска локальных генетических программ модификации элементов на разных уровнях мультиагентной нейро-когнитивной архитектуры.
В результате запуска этих распределенных по мультиагентной нейрокогнитивной архитектуре децентрализованных филогенетических процессов выполняются соответствующие модификации. Управляющая когнитивная архитектура растет и развивается, обеспечивая интеллектуальному агенту возможность выполнения целевого функционала за счет адаптации своего поведения к средовым условиям.
На рисунке 7 приведена визуализация результата выполнения таких филогенетически детерминированных мультиагентных алгоритмов роста.
<5 MURXA 12.1 (11S) -ОХ
Рис. 7. Фенотип интеллектуального агента после онтофилогенетического обучения Fig. 7. The phenotype of an intelligent agent after ontophylogenetic training
Интересно, что с точки зрения внешних наблюдателей все эти изменения воспринимаются как онтологически детерминированные, так как интеллектуальный агент начинает существенным образом изменять свое поведение в процессе жизни. Однако этот процесс на самом деле дуальный, так как на уровне самой мультиагентной нейрокогнитивной архитектуры он полностью филогенетический.
На рисунке 7 мы видим новые агнейроны, которыми в ходе этого процесса пополнились различные нейрокогнитоны мультиагентной нейрокогнитивной архитектуры. Внутри этих агнейронов на основе генетической информации также были сформированы их внутренние мультиакторные когнитивные архитектуры (рис. 8).
Рис. 8. Фенотип агнейрона после онтофилогенетического обучения Fig. 8. Agneuron phenotype after ontophylogenetic training
И между акторами, и между агнейронами сформировались новые контрактные связи. Все это в совокупности существенным образом трансформировало мультиагентную нейрокогни-тивную архитектуру, что, соответственно, в дальнейшем приведет к значительному изменению поведения интеллектуального агента, направленного на адаптацию к условиям среды.
Все эти изменения стали результатом имитационного моделирования ситуативно обусловленной экспрессии генов, содержащихся в геномах акторов, агнейронов и интеллектуального агента, в совокупности формирующих его генотип. В числе таких условий учитывались изменения состояний систем «агнейрон - среда», «интеллектуальный агент - среда», управляемые, сообщениями и вознаграждениями в виде порций энергии, получаемых интеллектуальным агентом от пользователей. С учетом того, что такие условия периодически наступают в течение всей жизни интеллектуального агента, сопутствующие им процессы экспрессии генов, содержащихся на разных уровнях генотипа интеллектуального агента, происходят так же постоянно, что приводит к адаптивной модификации мультиагентной нейрокогнитивной архитектуры на основе перманентного онтофилогенетического обучения.
Заключение
В результате выполненной работы стало возможным установить значимое свойство искусственной эволюции интеллектуальных агентов, состоящее в том, что в процессе корреляции фенотипа и генотипа искусственного организма, в отличие от аналогичного процесса, применяемого к естественным организмам, можно построить точное сопоставление
ансамблей генов и алгоритмов их экспрессии с результирующими фенотипическими признаками. Это свойство вкупе с механизмами его обеспечения, такими как, например, актор-ные и нейронные фабрики, позволяют в процессе жизни интеллектуального агента реализовать смешанный онтофилогенетический цикл, когда процессы онтологического и генетического обучения могут проходить синхронно и попеременно в течение всего времени поиска решения, времени функционирования интеллектуального агента.
В составе такого цикла возникают возможности для внешнего управления периодами базового физического роста и социализации, в которые от интеллектуального агента (как от развивающегося ребенка) не требуется решения задач назначения, временем непосредственного использования интеллектуального агента для решения задач целевого назначения и сроком «полового созревания», когда интеллектуальный агент получает возможность участвовать в многопоколенном цикле генетического алгоритма, «допускается» к обмену генами с другими особями.
Если обусловить принятие решений о переходе интеллектуального агента из одной вышеперечисленной фазы зрелости в другую условиями достижения его управляющей муль-тиагентной нейрокогнитивной архитектурой некоторого заданного уровня эффективности функционирования, то можно синтезировать новый тип многоэтапного генетического алгоритма и новый онтофилогенетический метод обучения, что и является одной из целей наших дальнейших исследований.
В ходе выполнения исследования разработан сложный геном интеллектуального агента, установлены и обоснованы особенности многохромосомного генетического алгоритма для организации вычислений в парадигме многопоколенной оптимизации мультиагентных нейрокогнитивных архитектур.
Показано, что в результате применения таких алгоритмов обучение интеллектуальных агентов может быть построено на основе онтофилогенетических моделей, в которых совмещены принципы межпоколенной модификации геномов особей и их развития в течение времени «жизни» (функционирования) этих особей.
Проведены эксперименты по онтофилогентическому синтезу фенотипов агентов искусственного интеллекта на основе мультиагентных нейрокогнитивных архитектур по данным их сложного генотипа.
Разработаны основные принципы многохромосомного генетического алгоритма для скрещивания интеллектуальных агентов на основе мультиагентных нейрокогнитивных архитектур, учитывающего структурно-функциональные особенности и специфику применения агентов общего интеллекта для решения универсального спектра проблем.
REFERENCES
1. Russell S., Norvig P. Artificial Intelligence: A Modern Approach. 2nd ed. Moscow: Williams, 2007. 1424 p. ISBN 0-13-790395-2. (In Russian)
Рассел С., Норвиг П. Искусственный интеллект: современный подход. 2-е издание. Москва: Вильямс, 2007. 1424 с. ISBN 0-13-790395-2.
2. Nagoev Z.V., Pshenokova I.A., Bzhikhatlov K.Ch., Kankulov S.A. Simulation model of an intelligent control system for an agricultural manipulator gripper based on training of multi-agent neurocognitive architectures. News of Kabardino-Balkarian Scientific Center of RAS. 2021. No. 4(102). Pp. 28-37. (In Russian)
Нагоев З. В., Пшенокова И. А., Бжихатлов К. Ч., Канкулов С. А. Имитационная модель интеллектуальной системы управления схватом сельскохозяйственного манипулятора на основе обучения мультиагентных нейрокогнитивных архитектур // Известия Кабардино-Балкарского научного центра РАН. 2021. № 4 (102). С. 28-37.
3. Bzhikhatlov K.Ch., Kankulov S.A., Malyshev D.A., Nagoev Z.V., Nagoeva O.V., Sundukov Z.A. Interactive formation of spatial ontologies of an autonomous robot based on neurocognitive models of semantics. In the collection: Perspective systems and control problems. Materialy XVI Vserossiyskoy nauchno-prakticheskoy konferentsii i XII molodezhnoy shkoly-seminara [Materials of the XVI All-Russia scientific-practical conference and the XII youth school-seminar]. Rostov-on-Don, 2021. Pp. 147-154. (In Russian)
Бжихатлов К. Ч., Канкулов С. А., Малышев Д. А., Нагоев З. В., Нагоева О. В., Сундуков З. А. Интерактивное формирование пространственных онтологий автономного робота на основе нейрокогнитивных моделей семантики. В сборнике: Перспективные системы и задачи управления. Материалы XVI Всероссийской научно-практической конференции и XII молодежной школы-семинара. Ростов-на-Дону, 2021. С. 147-154.
4. Nagoev Z.V., Pshenokova I.A., Nagoeva O.V. Automatic reconstruction of the nature and temperament of users based on multi-agent learning of neurocognitive models of the conscious and unconscious based on data on user behavior on the Internet. News of Kabardino-Balkarian Scientific Center of RAS. 2021. No. 6 (104). Pp. 66-77. (In Russian)
Нагоев З. В., Пшенокова И. А., Нагоева О. В. Автоматическая реконструкция характера и темперамента пользователей на основе мультиагентного обучения нейрокогнитивных моделей сознательного и бессознательного по данным о поведении пользователя в сети интернет // Известия Кабардино-Балкарского научного центра РАН. 2021. № 6 (104). С. 66-77.
5. Nagoev Z.V., Sundukov Z.A., Pshenokova I.A., Denisenko V.A. CAD architecture of distributed artificial intelligence based on self-organizing neurocognitive architectures. News of Kabardino-Balkarian Scientific Center of RAS. 2020. No. 2 (94). Pp. 40-47. (In Russian)
Нагоев З. В., Сундуков З. А., Пшенокова И. А., Денисенко В. А. Архитектура САПР распределенного искусственного интеллекта на основе самоорганизующихся нейрокогнитивных архитектур // Известия Кабардино-Балкарского научного центра РАН. 2020. № 2 (94). С. 40-47.
6. Nagoev Z.V. Intellektika, ili myshleniye v zhivykh i iskusstvennykh sistemakh [Intelligence, or thinking in living and artificial systems]. Nalchik: KBSC Publishing house, 2013. 232 p. (In Russian)
Нагоев З. В. Интеллектика, или мышление в живых и искусственных системах. Нальчик: Издательство КБНЦ РАН, 2013. 232 с.
7. Spector Lee & Stoffel Kilian. Ontogenetic Programming. 1998.
8. Awni Hannun. The Role of Evolution in Machine Intelligence. 2021.
9. https://en.wikipedia.org/wiki/Neuroevolution
10. Julian Togelius, Tom Schaul, Daan Wierstra, Christian Igel, Faustino Gomez, Jürgen Schmidhuber. Ontogenetic and Phylogenetic Reinforcement Learning. Fachbeitrag. 2009. No. 03.
11. Fedor A. and other. Cognitive Architecture with Evolutionary Dynamics Solves Insight Problem // Front. Psychol. 2017. Vol. 8.
12. Sergey Budaev, Jarl Giske, Sigrunn Eliassen. AHA: A general cognitive architecture for Darwinian agents, Biologically Inspired Cognitive Architectures. 2018. Vol. 25. Pp. 51-57. ISSN 2212-683X, https://doi.org/10.1016/j.bica.2018.07.009.
13. Bellas, Francisco & Duro, Richard & Faina, Andres & Souto, Daniel. Multilevel Darwinist Brain (MDB): Artificial Evolution in a Cognitive Architecture for Real Robots. Autonomous Mental Development, IEEE Transactions on. 340-354. 2011. 10.1109/TAMD.2010.2086453.
14. Nagoev Z.V. Ontoneuromorphogenetic modeling. News of Kabardino-Balkarian Scientific Center of RAS. 2013. No. 4(54). Pp. 46-56. (In Russian)
Нагоев З. В. Онтонейроморфогенетическое моделирование // Известия Кабардино-Балкарского научного центра РАН. 2013. № 4(54). С. 46-56.
15. Nagoev Z., Pshenokova I., Nagoeva O., Sundukov Z. Learning algorithm for an intelligent decision making system based on multi-agent neurocognitive architectures. Cognitive Systems Research. 2021. Vol. 66. Pp. 82-88.
Информация об авторах
Апшев Артур Заурович, стажер-исследователь лаборатории «Нейрокогнитивные автономные интеллектуальные системы», Кабардино-Балкарский научный центр РАН; 360010, Россия, г. Нальчик, ул. Балкарова, 2; [email protected]
Аталиков Борис Анзорович, стажер-исследователь лаборатории «Интеллектуальные среды обитания», Институт информатики и проблем регионального управления - филиал Кабардино-Балкарского научного центра РАН;
360000, Россия, г. Нальчик, ул. И. Арманд, 37-а; atalikov 10@gmail. com
Канкулов Султан Ахмедович, стажер-исследователь лаборатории «Интеллектуальные среды обитания», Институт информатики и проблем регионального управления - филиал Кабардино-Балкарского научного центра РАН;
360000, Россия, г. Нальчик, ул. И. Арманд, 37-а; [email protected], ORCID: https://orcid.org/0000-0002-2996-7376
Малышев Данил Андреевич, стажер-исследователь лаборатории «Интеллектуальные среды обитания», Институт информатики и проблем регионального управления - филиал Кабардино-Балкарского научного центра РАН;
360000, Россия, г. Нальчик, ул. И. Арманд, 37-а; [email protected]
Сундуков Заурбек Амурович, мл. науч. сотр. лаборатории «Интеллектуальные среды обитания», Институт информатики и проблем регионального управления - филиал Кабардино-Балкарского научного центра РАН;
360000, Россия, г. Нальчик, ул. И. Арманд, 37-а; [email protected]
Энес Ахмед Зюлфикар, стажер-исследователь лаборатории «Интеллектуальные среды обитания», Институт информатики и проблем регионального управления - филиал Кабардино-Балкарского научного центра РАН;
360000, Россия, г. Нальчик, ул. И. Арманд, 37-а; [email protected]
Information about the authors
Apshev Artur Zaurovich, Trainee researcher of the Laboratory "Neurocognitive Autonomous Intelligent Systems", Kabardino-Balkarian Scientific Center of the Russian Academy of Sciences; 360010, Russia, Nalchik, 2 Balkarov street; [email protected]
Atalikov Boris Anzorovich, Trainee researcher of the Laboratory "Intellectual Habitats" of the Institute of Computer Science and Problems of Regional Management of KBSC of the Russian Academy of Sciences; 360000, Russia, Nalchik, 37-a I. Armand street; [email protected]
Kankulov Sultan Akhmedovich, Trainee researcher of the Laboratory "Intellectual Habitats" of the Institute of Computer Science and Problems of Regional Management of the KBSC of the Russian Academy of Sciences; 360000, Russia, Nalchik, 37-a I. Armand street; [email protected], ORCID: https://orcid.org/0000-0002-2996-7376
Malyshev Danil Andreevich, Trainee researcher of the Laboratory "Intellectual Habitats" of the Institute of Computer Science and Problems of Regional Management of KBSC of the Russian Academy of Sciences; 360000, Russia, Nalchik, 37-a I. Armand street; [email protected]
Sundukov Zaurbek Amurovich, junior researcher laboratories "Intellectual Habitats" of the Institute of Computer Science and Problems of Regional Management of KBSC of the Russian Academy of Sciences; 360000, Russia, Nalchik, 37-a I. Armand street; [email protected]
Enes Akhmed Zyulfikar, Trainee researcher of the Laboratory "Intellectual Habitats" of the Institute of Computer Science and Problems of Regional Management of KBSC of the Russian Academy of Sciences; 360000, Russia, Nalchik, 37-a I. Armand street; [email protected]
