3Известия Кабардино-Балкарского научного центра РАН № 6(116) 2023
СИСТЕМНЫЙ АНАЛИЗ, УПРАВЛЕНИЕ И ОБРАБОТКА ИНФОРМАЦИИ
УДК 004.89 Научная статья
DOI: 10.35330/1991-6639-2023-6-116-193-209 EDN: RXSQVI
Мультиагентный нейрокогнитивный алгоритм управления референцией речевых событий коммуникации агента общего искусственного интеллекта в ситуации синхронных множественных диалогов
З. В. Нагоев, О. В. Нагоева, Д. Г. Макоева, И. А. Гуртуева
Кабардино-Балкарский научный центр Российской академии наук 360010, Россия, г. Нальчик, ул. Балкарова, 2
Аннотация. Разработаны основные принципы, модели и алгоритмы управления референцией речевых сообщений на основе создания двухконтурной модели мультиагентной нейрокогнитивной архитектуры - суперинтеллектона, реализующего взаимодействие интеллектона подсознания и интеллектона сознания. Сформированы требования к онтологиям агента общего искусственного интеллекта, условия их формирования и обозначены функциональные узлы нейрокогнитивных архитектур, необходимые для их эффективного формирования в режиме обучения. Полученные результаты могут быть применены при создании систем распознавания и понимания речи, работоспособных при применении в зашумленных средах и ситуациях множественных синхронных диалогов для повышения качества распознавания с использованием понимания контекста ситуаций.
Ключевые слова: общий искусственный интеллект, мультиагентные системы, нейрокогнитивные архитектуры, распознавание речи, понимание речи
Поступила 02.12.2023, одобрена после рецензирования 07.12.2023, принята к публикации 09.12.2023
Для цитирования. Нагоев З. В., Нагоева О. В., Макоева Д. Г., Гуртуева И. А. Мультиагентный нейрокогнитивный алгоритм управления референцией речевых событий коммуникации агента общего искусственного интеллекта в ситуации синхронных множественных диалогов // Известия Кабардино-Балкарского научного центра РАН. 2023. № 6(116). С. 193-209. DOI: 10.35330/1991-6639-2023-6-116-193-209
MSC: 68T42 Original article
Multi-agent neurocognitive algorithm for controlling the reference of speech events of communication of a general artificial intelligence agent in a situation of synchronous multiple dialogues
Z.V. Nagoev, O.V. Nagoeva, D.G. Makoeva, I.A. Gurtueva
Kabardino-Balkarian Scientific Center of the Russian Academy of Sciences 360010, Russia, Nalchik, 2 Balkarov street
Abstract. Basic principles, models and algorithms for controlling the reference of speech messages have been developed based on the creation of a two-circuit model of multi-agent neurocognitive architecture -a superintellecton, which implements the interaction of the subconscious intellecton and the conscious intellecton. Requirements for ontologies of a general artificial intelligence agent, the conditions for their formation, and the functional units of neurocognitive architectures necessary for their effective formation in the training mode are outlined. The results obtained can be used to create speech recognition and understanding systems that are operational when used in noisy environments and
© Нагоев З. В., Нагоева О. В., Макоева Д. Г., Гуртуева И. А., 2023
situations of multiple synchronous dialogues to improve the quality of recognition using an understanding of the context of situations.
Keywords: artificial general intelligence, multi-agent systems, neurocognitive architectures, speech recognition, speech understanding
Submitted 02.12.2023, approved after reviewing 07.12.2023, accepted for publication 09.12.2023
For citation. Nagoev Z.V., Nagoeva O.V., Makoeva D.G., Gurtueva I.A. Multi-agent neurocognitive algorithm for controlling the reference of speech events of communication of a general artificial intelligence agent in a situation of synchronous multiple dialogues. News of the Kabardino-Balkarian Scientific Center of RAS. 2023. No. 6(116). Pp. 193-209. DOI: 10.35330/1991-6639-2023-6-116-193-209
Введение
Проблема управления референцией речевых событий, распознаваемых программным агентом общего искусственного интеллекта при коммуникативном взаимодействии в социальном окружении, возникает в связи с необходимостью решения задачи понимания высказываний, в форме которых разворачивается такое взаимодействие, в условиях множественных синхронных диалогов. Эта ситуация, когда множество собеседников одновременно коммуницируют друг с другом, настолько интересна, что даже получила в компьютерной лингвистике специальное название - «коктейльная вечеринка» (cocktail party). Если собеседники одновременно разговаривают в одной, достаточно небольшой комнате в полный голос, человек, находящийся в этой комнате, в норме справляется с тем, чтобы, прислушавшись к одному конкретному диалогу, распознать и понять все, что говорят собеседники. Для компьютерной же системы, несмотря на значительные успехи в распознавании речи, эта задача пока остается в общем случае неразрешимой.
Решая эту задачу, человек, помимо способности непосредственно распознавать речевые сообщения, представленные в материальной форме акустических волн, использует еще и способность понимать содержание высказываний, что позволяет ему активно управлять ольфакторным аппаратом для настройки на усиление частот, на которых участники интересующего его диалога генерируют свои высказывания, и в свою очередь подавлять частоты, на которых разворачивается коммуникация во всех других диалогах.
Основная рабочая гипотеза данного исследования состоит в том, что для достижения подобного эффекта необходимым условием является реализация системы распознавания на базе программного агента общего искусственного интеллекта. Это убеждение связано с тем, что понимание смысла произвольного диалога относится к неформальному классу т.н. AI-полных задач. Основные требования и подходы к созданию таких агентов изложены в [1-3]. Для реализации этой, в науке пока не решенной задачи, в частности, требуется, чтобы этот агент был способен к выполнению рациональных рассуждений и саморазвитию.
В частности, необходимо, чтобы такой агент имел возможность самостоятельно обучаться, онтологизируя свое пространство состояний (систему «агент - реальная среда») с помощью тех же способов, которые применяют естественные агенты общего искусственного интеллекта, - обучение на основе опыта (экспериментальный способ), обучение на основе размышлений (аналитический способ) и обучение на основе прямой или опосредованной коммуникации с другими интеллектуальными агентами (коммуникативный способ).
Способность самостоятельно развивать онтологическую базу и усиливать эффективность мыслительного аппарата (аппарата, обеспечивающего выполнение рассуждений) на основе приобретаемых знаний откроет программному агенту общего искусственного интеллекта возможности социализации в тех же эпистемологических контекстах, которые использует активно развивающийся растущий ребенок. Ключевым фактором перехода интеллекта искусственной системы в статус «общего», по нашему мнению, является способность
к саморазвитию на основе коммуникативного способа, при котором интеллектуальный агент приобретает знания «в чистом виде» от других интеллектуальных агентов, без необходимости самостоятельного исследования среды или интенсивного мыслительного моделирования. Источником такого обмена может быть как диалог с таким более опытным (знающим) интеллектуальным агентом, так и носители информации, в которые такими агентами эта информация была записана ранее (книги, видеофайлы, аудиозаписи и т.п.). В [4] даются подходы к решению многочисленных проблем, лежащих на пути создания подобных систем, а также раскрываются связанные с такой возможностью перспективы (создание рипортинговых, читающих и диалоговых систем).
В данной работе мы фокусируемся на разработке основных принципов создания системы управления программного агента общего искусственного интеллекта, позволяющей ему распознавать речевые сообщения в зашумленных средах (в том числе в условиях «коктейль-ной вечеринки»), используя механизм референции таких сообщений, основанный на алгоритмах машинного понимания высказываний. Под референцией речевых сообщений мы понимаем процесс распределения внутренних функциональных репрезентаций событий, описываемых этими речевыми сообщениями, выполненных управляющей мультиагентной нейроко-гнитивной архитектурой интеллектуального агента, между так называемыми проблемными ситуациями - основными формами отражения контекстов системы «агент - среда», в которые вовлечен интеллектуальный агент, в такой когнитивной архитектуре.
Так как фокусировка внимания для настройки ольфакторного аппарата с целью фильтрации и достройки содержания выказывания по фрагментарному или зашумленному звуковому сигналу требует реализации интеллектуального управления, основанного на многочисленных смысловых обратных связях, разработка основных принципов и алгоритмов референции речевых сообщений в процессе множественной устной диалоговой коммуникации является актуальной научной проблемой.
Целью настоящей работы является создание системы распознавания и синтеза речи на основе имитационного моделирования процессов понимания высказываний агентом общего искусственного интеллекта.
Объект исследования - процессы референции речевых событий в управляющей когнитивной архитектуре интеллектуального агента.
Предмет исследования - основные принципы и алгоритмы управления референцией речевых событий в ситуации множественного синхронного диалога.
Задача исследования - разработка мультиагентного алгоритма управления референцией речевых событий в управляющей мультиагентной нейрокогнитивной архитектуре агента общего искусственного интеллекта.
1. Концептуальная модель сознания агента
общего искусственного интеллекта
В работах [1, 4-8] предложена и разработана концепция агента общего искусственного интеллекта под управлением т.н. мультиагентной нейрокогнитивной архитектуры. Такой агент в общем случае представляет собой имитационную модель системы искусственной жизни (Artificial Life System), реализующую синтез мета-алгоритмов построения специализированных алгоритмов идентификации и решения проблем универсального спектра на основе перемещения в пространстве состояний «агент - реальная среда» с целью максимизации целевой функции энергии на основе проактивного рационального выбора с использованием абстрактных знаковых систем. Под проблемой в данном случае понимается состояние интеллектуального устройства управления агентом, предписывающее этому агенту изменить настоящее или будущее состояние в системе «агент - среда».
Такой агент может быть реализован в формате как виртуального (полностью программного) агента, так и в формате программного агента, управляющего поведением робота (интеллектуального робота), погруженного в реальную среду. Как программный интеллектуальный агент, так и робот взаимодействуют со средой с помощью сенсоров и эффекторов. Некоторые из этих сенсоров (сенсор клавиатуры, аудиосенсор, видеокамеры, тактильные сенсоры) могут быть использованы интеллектуальным роботом для приема сообщений (соответственно символьных, аудио-, видео-, тактильных) от людей, которые окружают роботов в среде. Аналогично некоторые из его эффекторов (дисплей, аудиосинтезатор, манипуляторы и др.) могут использоваться для передачи сообщений этим людям.
В [1] для описания интеллектуальной системы управления агента общего искусственного интеллекта вводится понятие и дается формальное описание т.н. «интеллектона», представляющего собой самоорганизующуюся мультиагентную рекурсивную нейрокогни-тивную архитектуру. В частности, показано, что интеллектон, организованный в последовательность функциональных узлов, каждый из которых содержит программных агентов-нейронов (агнейронов), в составе т.н. инварианта мультиагентной нейрокогнитивной архитектуры управляет синтезом имитационных моделей динамических функциональных систем (по Анохину), ситуативно детерминированным соотношением параметров системы «агент -среда» [9]. Он, в частности, обеспечивает условия для того, чтобы функциональные узлы инварианта нейрокогнитивной архитектуры (нейрокогнитоны) различной специализации - распознавания, оценки, целеполагания, синтеза действий, моделирования - росли и развивались «по требованию» путем добавления новых агнейронов, формирования и деградации связей между ними на основе т.н. алгоритма онтонейроморфогенеза [10], гипотетически задающего вычислительную абстракцию процессов ситуативно детерминированного роста и деградации аксо-дендрональных связей между нейронами головного мозга (рис. 1).
^ MURKA18.7í264cb<90?íei □ X
Рис. 1. Трехмерная визуализация интеллектона в программе имитационного моделирования мультиагентных нейрокогнитивных архитектур
Fig. 1. Three-dimensional visualization of the intellect in a simulation program of multi-agent neurocognitive architectures
Система управления самих агнейронов, которые также являются рациональными агентами нижнего по отношению к интеллектону ранга, в свою очередь сама представляет собой мультиагентную когнитивную архитектуру, организованную в составе такого же инварианта, в функциональных узлах которого, однако, представлены уже более простые рациональные агенты - акторы.
Акторы представляют собой логическое машины, основанные на продукционных правилах, содержащихся в их базах знаний. Принципиальное значение имеет то, что состав и структура продукционных правил, выражающих эти знания, могут меняться в соответствии с процедурой работы алгоритма онтонейроморфогенеза (рис. 2).
Рис. 2. Мультиакторная архитектура агнейрона в программе имитационного моделирования интеллектонов
Fig. 2. Multiactor architecture of agneuron in the simulation program of intellecton
Динамически сформированные функциональные системы, состоящие из специализированных агнейронов различных нейрокогнитонов, в свою очередь на основе самоорганизации, мотивированной необходимостью обмена информации на энергию, синтезируют специализированные алгоритмы построения путей между стартовыми и конечными состояниями проблемных ситуаций в системе «агент - среда».
Графически процесс синтеза такого пути можно представить динамическим графом решений проблемной ситуации (рис. 3), в узлах которого (круги на рисунке) находятся состояния системы «агент - среда», треугольниками на дугах обозначаются действия, совершаемые самим интеллектуальным агентом, а квадратами - действия, выполняемые средой (другими агентами в ее составе).
Рис. 3. Динамический граф решений проблемной ситуации Fig. 3. Dynamic graph of solutions to a problem situation
В вышеприведенном определении агента общего искусственного интеллекта требование использования абстрактного языка для синтеза графа принятия решений в контексте темы настоящего исследования заслуживает отдельного рассмотрения. Прежде чем перейти к решению поставленной в данной работе проблемы, основанному на свойствах системы управления агентов общего искусственного интеллекта, обеспечивающих конструктивные манипуляции абстрактными символами в процессе коммуникации, рассмотрим аспект, в котором интеллектоны наиболее эффективно используют коммуникацию вообще и речевую коммуникацию в частности, - интеллектуальный синтез поведения, направленного на он-тологизацию системы «агент - среда».
2. Основные требования к онтологиям в системе
«агент общего искусственного интеллекта - реальная среда» Одним из ключевых свойств системы «интеллектуальный агент - среда» является частичная наблюдаемость, в силу которой интеллектуальный агент, воспринимающий среду с помощью сенсоров, не способен одновременно регистрировать все значения всех параметров среды, которые могут быть измерены этими сенсорами. Агенту в каждый момент времени доступен для наблюдения на основе синтеза информации в сенсорной системе только некоторый фрагмент среды. Поэтому для принятия решений, учитывающих влияние всех частей среды, значимых для решения данной задачи, интеллектуальный агент должен иметь в некотором внутреннем представлении не только текущий наблюдаемый фрагмент среды, но и все такие части. Этого можно добиться только с помощью внутренней модели среды, отражающей существенные свойства этих ее частей. Для этого в нейрокогнитивной архитектуре предусматривается нейрокогнитон моделирующих агнейронов (изображены на рис. 4 пиктограммами в форме округлой буквы «М»).
Онтология должна поддерживать представление о том, что объекты существуют в среде вне зависимости от того, наблюдает их агент или нет. Иными словами, онтология как система закономерностей, описывающих реальную среду, должна обеспечивать присутствие информации о ненаблюдаемых частях среды в процессе принятия решений. С этой целью в
нейрокогнитивной архитектуре создаются нейрокогнитоны, содержащие агнейроны, обеспечивающие функциональную репрезентацию объектов (изображены на рис. 4 пиктограммами в форме круга), явлений (пиктограммы в форме шестиугольника), их свойств и отношений (МА-фактов - пиктограммы в форме округлого трилистника).
Другое свойство системы «интеллектуальный агент - среда», требующее наличия у агента модели среды, - эпизодичность наблюдения даже тех небольших фрагментов среды, которые доступны агенту в силу частичной наблюдаемости. Онтология, направленная на парирование этой трудности, проявляющейся при принятии решений интеллектуальным агентом в реальной среде, должна обеспечивать представление о том, что в периоды между наблюдениями фрагментов среды (объектов), которые агент выполняет с помощью сенсорной системы, эти объекты не только существуют, но и изменяются.
Принципиальную сложность для принятия решений создает такое свойство реальной среды, как априорная неструктурированность потоков данных, генерируемых сенсорами погруженного в эту среду агента. Это свойство определяет, в частности, необходимость динамического формирования онтологий, так как изначально процессы, протекающие в среде, не концептуализированы. На рисунке 4 сенсоры, генерирующие потоки входных данных интеллектуального агента, изображены треугольниками, острый угол которых ориентирован по направлению к мультиагентной когнитивной архитектуре, а эффекторы - треугольниками, ориентированными в противоположном направлении.
Следовательно, неструктурированность среды требует выбора некоторого семантического базиса концептуализации, который может быть использован интеллектуальным агентом в качестве множества внутренних параметров, на которое отображаются генерируемые сенсорной системой значения измерений параметров внешней среды. Это ставит вопрос о необходимости наличия у онтологии семантических свойств, определяющих связь наблюдаемой динамики реальной среды с изменениями значений целевой функции интеллектуального агента. С этой целью в интеллектон введен когнитон оценки, агнейроны которого (агнейроны оценки) выполняют функцию разбиения входных потоков данных на задачи и разметки состояний системы «агент - среда» значениями целевой функции.
Отсутствие у интеллектуального агента априорного представления о своей собственной структуре и структуре реальной среды вкупе с такими ее свойствами, как динамичность и стохастичность, определяют эмпирический характер процесса динамического формирования онтологий. В ходе этого процесса интеллектуальный агент, взаимодействуя со случайными фрагментами среды, в своем внутреннем представлении переводит систему «агент -среда» в состояния, характеризующиеся различными значениями целевой функции, что и позволяет ему формировать «семантически нагруженные» онтологии.
Так как задача синтеза программного агента, как правило, реализуется человеком с целью последующего решения этим агентом некоторых проблем интеллектуальной обработки информации в условиях реальной среды, семантические основания, на которых построены онтологии такого интеллектуального агента, должны быть сходны (совместимы) с семантикой мышления человека. Это свойство (семантическая совместимость) онтологий интеллектуального агента, как минимум, задает требование сходства целевых функций и способов структуризации потоков данных, описывающих систему «агент - среда».
Принципиальный характер для построения подобных онтологий имеет возможность их формирования в социальном контексте, связанная с восприятием интеллектуального агента в качестве члена некоторого гетерогенного (люди, программные агенты, автономные роботы)
сообщества интеллектуальных агентов, в котором открывается возможность использования каналов передачи информации от этого сообщества с помощью естественного языка.
Социализация на основе интерактивного взаимодействия с помощью языка существенным образом форсирует формирование онтологий, так как в коммуникативной ситуации одни и те же фрагменты реальности, синхронно наблюдаемые интеллектуальными агентами-коммуникантами, могут быть структурированы менее опытным агентом на основе информации, полученной от более опытного из агентов. С целью функциональной репрезентации абстрактных символьных единиц - элементов языка, на котором выполняется социализация, - в интеллектон введены агнейроны-существительные (изображены на рисунке 4 пиктограммами в форме окружностей, по контуру которых нанесены штрихи, направленные к центру), агнейроны-глаголы (шестиугольники со штрихами по контуру).
Ясно, что если все эти требования предъявляются к одной онтологической единице -структурно-функциональной единице, из которых состоит полная онтология, то формат этой единицы должен допускать логическое объединение некоторой суммы предикатов (фактов), каждый из которых описывает отношение этой онтологической единицы к феноменологии одной из предметных областей, в которых значимы вышеперечисленные свойства. Это требование определяет синкретический характер онтологической единицы, ее свойство моделировать и связывать друг с другом факты и причинно-следственные зависимости из этих феноменологических областей.
Причинно-следственная природа воспринимаемой реальности в условиях наличия в ней агентов, выполняющих действия, и объектов, пассивных по отношению к действиям, накладывает на онтологии требование отражения субъект-объектной картины мира, например, возможность моделирования агенса и пациенса, каузативных отношений. Моделирование субъекта требует интеграции процессов отражения, выполняемых различными нейронными группами, управления разделением времени и доступом к монопольным ресурсам интеллектуального агента (тело, эффекторы, функциональные подсистемы). Поэтому в данной работе мы рассматриваем третий уровень рекурсии, который условно называем уровень сознания агента общего искусственного интеллекта (инвариант когнитивной архитектуры, изображенный на рисунке 4 в горизонтально направлении).
Возвращаясь к проблеме функциональной целостности онтологий, необходимо вспомнить о том, что онтологии сами по себе не решают задачи моделирования интеллектуальных рассуждений. Они лишь обеспечивают некоторую машину принятия решений необходимыми данными. Эта «машина» в общем случае аппроксимирует некоторую идеальную функцию принятия решений, которая обеспечивает поиск в пространстве альтернатив и выбор тех состояний, которые доставляют максимум некоторой целевой функции. Вся совокупность вышеперечисленных факторов, затрудняющих такой поиск и выбор в условиях реальной среды, приводит к тому, что процесс принятия решений характеризуется неопределенностью на всех своих этапах. Эффективные онтологии как раз и предназначены для того, чтобы за счет построения модели системы «интеллектуальные агент - среда» и использования этой модели машиной принятия решений снижать такую неопределенность.
Эта простая по смыслу задача на практике сталкивается со значительными трудностями, главная из которых - проблема сложности реальной среды. Для того чтобы внутренняя онтологическая модель была точна настолько, чтобы существенным образом снизить неопределенность принятия решений, необходим значительный охват феноменологических
комплексов, наблюдаемых интеллектуальным агентом в этой среде. Минимальным необходимым требованием для построения такой онтологии является наличие у интеллектуального агента многомодальной подсистемы восприятия, работающей в режиме реального времени. При этом часть таких данных, описывающих процессы, протекающие в «теле» самого агента, генерируется интероцепторами (изображены на рисунке 4 берущими свое начало от графического представления этого «тела» - окружности с номером агента), вторая часть - интеро-цепторами, описывающими процессы, протекающие в нейрокогнитивной архитектуре нижнего ранга (изображены на рисунке 4 в составе нейрокогнитивной архитектуры верхнего ранга (сознание), и третья часть - экстероцепторами, описывающими процессы во внешней по отношению к агенту среде (все другие рецепторы на рисунке 4).
Как правило, потоки неструктурированных данных, генерируемые такой подсистемой, настолько интенсивны, что производительности современных систем интеллектуального принятия решений недостаточно для онтологизации всех объектов, событий и ситуаций, информацию о которых несут эти потоки, в режиме реального времени [11, 12].
Вторая, не менее важная проблема, связанная с дефицитом ресурсов, состоит в том, что онтологии, обеспечивающие высокий уровень эффективности снижения неопределенности даже для одной предметной области (домена), должны охватывать огромное количество феноменов, которые могут иметь как непосредственное, так и весьма отдаленное отношение к этому домену. Хорошая онтология должна «покрывать» значительное количество ситуаций, существенных для учета при принятии решений в данной предметной области.
Однако даже в случае, когда в вычислительных ресурсах нет ограничений и времени для построения онтологий достаточно, свойство стохастичности реальной среды может свести на нет ценность построенной онтологии, так как в ситуативном контексте, в котором интеллектуальный агент принимает решение, всегда может появиться новый фактор, не предусмотренный построенной онтологией. Если система принятия решений не снабжена алгоритмами, обеспечивающими толерантность к подобным ситуациям, такими, например, как метаонтологии, позволяющими адаптировать существующие онтологии к подобным ситуациям на основе обучения, то она в этом случае может оказаться неустойчивой, что приведет к резкому снижению эффективности.
Применение перманентного обучения для динамического пополнения онтологий с целью обеспечения устойчивости базы знаний должно быть нацелено на онтологизацию конкретного домена путем использования метаонтологий, позволяющих интеллектуальному агенту использовать для этого универсальные алгоритмы, не зависящие от конкретной предметной области.
Такой процесс также отягчен несколькими ключевыми проблемами. Во-первых, при перманентном обучении необходимо решить вопрос избирательности прецедентов, которые попадают в онтологию. Если этого не сделать, то быстро исчерпывается ресурс памяти системы.
Во-вторых, онтология должна сохранить операционную применимость даже при достижении значительного размера. Сложность поиска в базе знаний элементов онтологии, необходимых для применения в процессе рассуждения, должна быть такой, чтобы обеспечить принятие решений в условиях реального времени.
В-третьих, при значительном увеличении размера онтологии на основе перманентного обучения с помощью обработки случайных прецедентов в онтологии начинают появляться и накапливаться противоречивые знания. Для преодоления этой проблемы подсистема синтеза онтологий должна располагать механизмом разрешения противоречий.
Основой для реализации такого механизма должна быть некоторая процедура внутреннего арбитража, в соответствии с которой интеллектуальный агент сам должен принимать решение о внесении необходимых изменений в элементы онтологии, противоречащие друг другу. Такая процедура должна быть основана на алгоритме выбора, связанном с функцией разметки состояний системы «интеллектуальный агент - среда» значениями, учитываемыми целевой функцией агента.
Все вышеприведенные соображения фактически исключают возможность создания он-тологий интеллектуального робота, действующего в условиях реальной среды, в ручном режиме. Как показывает практика, создание применимых онтологий вручную может быть эффективным только для крохотных доменов в узком диапазоне условий применения, который, по большому счету, нельзя отнести к условиям реальной среды.
Кроме того, принципиальное значение имеет множественность процессов, которые протекают в самом интеллектуальном агенте (его «теле») и в окружающей агента реальной среде. Вкупе с частичной наблюдаемостью и эпизодичностью это свойство среды предполагает, что онтологическая модель любого процесса должна быть доступна машине рассуждений интеллектуального агента в режиме псевдореального времени, быть открытой для пополнения, разделять ресурсы с онтологическими моделями других процессов.
Все эти качества достижимы на основе введенного выше понятия проблемной ситуации, состоящей из событий и действий. События есть мультиагентные факты, описывающие фрагменты системы «агент - среда» в формате предикативных конструкций. Объединения событий описывают состояния этой системы, которые и представляются вершинами графа решений проблемной ситуации. Действия в свою очередь также представляются мультиа-гентными фактами, с той лишь разницей, что в качестве субъекта действия выступает либо сам данный интеллектуальный агент, либо другие интеллектуальные агенты.
Под речевым событием будем понимать такое событие в системе «агент - среда», описание которого, сформулированное на некотором языке, содержится в речевом сообщении.
Исходя из вышеизложенного сделан вывод, что онтологии агента общего искусственного интеллекта в условиях реальной среды должны формироваться автоматически и быть функционально целостными, операционно применимыми, концептуально обоснованными, пригодными для построения моделей системы «агент - среда» и для парирования сложностей принятия решений в условиях реальной среды (неструктурированность, неопределенность, частичная наблюдаемость, эпизодичность, динамичность, стохастич-ность, активность), динамически формируемыми на основе эмпирического базиса избирательных прецедентов, ситуативно детерминированными, контекстно обусловленными, семантически и социально значимыми и совместимыми, синкретическими и многомодальными, коррелирующими с естественным языком, отражающими субъект-объектную картину мира, устойчивыми к стохастичности среды, пополняемыми в процессе перманентного обучения на основе метаонтологий, основанными на механизме разрешения противоречий в базе знаний.
Построить онтологии, обладающие вышеперечисленными свойствами, интеллектуальный агент может только с привлечением некоторого языка - абстрактной знаковой системы, применяющейся для обмена знаниями при коммуникации в процессе социализации.
Какой же должна быть организация интеллектона и какие алгоритмические модели должны быть заложены в его работу, чтобы обеспечить агенту общего искусственного интеллекта возможности построения онтологий, обладающих всеми вышеперечисленными свойствами, с применением речевых сообщений, содержащих абстрактные знаковые описания событий системы «агент - среда».
3. Мультиагентный алгоритм управления референцией речевых событий
в двухуровневой схеме организации нейрокогнитивной архитектуры
С целью исследования способа онтологизации системы «агент - среда» с помощью абстрактной знаковой системы рассмотрим третий рекурсивный уровень управления - сознание программного агента, - являющийся, с нашей точки зрения, неотъемлемым компонентом общего искусственного интеллекта.
На рисунке 4 приведена совмещенная нейрокогнитивная архитектура агента общего искусственного интеллекта, состоящая из нейрокогнитивной архитектуры (интеллектона), выполняющей первичный анализ входных потоков данных, идентификацию проблемных ситуаций и синтез деревьев решения, которую мы условно будем называть подсознанием, и, соответственно, из интеллектона сознания, также представляющего собой инвариант нейрокогнитивной архитектуры. На рисунке интеллектон подсознания изображен в левой части и ориентирован сверху вниз, а интеллектон сознания - соответственно в правой части и ориентирован слева направо.
В [1] для обозначения такой когнитивной архитектуры, состоящей из двух и более ин-теллектонов, введено понятие суперинтеллектона. Принципиальное различие между ин-теллектоном подсознания и интеллектоном сознания в составе суперинтеллектона, изображенного на рисунке 4, состоит в том, что первый погружен с помощью своих сенсоров и эффекторов в окружающую интеллектуального агента реальную среду, а сенсоры и эффекторы второго взаимодействуют непосредственно с интеллектоном подсознания.
Таким образом, интеллектон подсознания идентифицирует и решает проблемы в системе «интеллектуальный агент - среда», а интеллектон сознания - в системе «интел-лектон сознания - интеллектон подсознания». Все процессы, в которые вовлечен интеллектуальный агент, находят отражение сразу в обоих интеллектонах, которые строят сразу два графа решений. Назовем их соответственно граф решений проблемной ситуации (для интеллектона подсознания) и граф решений контекста проблемной ситуации (для интеллектона сознания).
В ситуации онтологизации некоторого фрагмента системы «интеллектуальный агент -среда» в соответствии с некоторым алгоритмом (экспериментальным, аналитическим, коммуникативным) интеллектон подсознания обеспечивает идентификацию и обработку событий в этой системе, а интеллектон сознания соответственно синхронно онтологизи-рует фрагмент системы «интеллектон подсознания - интеллектон сознания», за которым ведет непосредственное наблюдение с помощью сенсоров и на который воздействует с помощью эффекторов.
Проблемы, на разрешение которых направлена работа интеллектона сознания, связаны прежде всего с необходимостью управления распределением монопольных ресурсов организма («тела») интеллектуального агента при синхронном решении множества задач. Действительно, как правило, естественные системы общего искусственного интеллекта практически никогда не могут себе позволить синхронно идентифицировать и решать только одну-единственную проблему. Таких проблем, как правило, несколько. Каждая из них на уровне интеллектона подсознания обрабатывается агнейронами из различных нейрокогни-тонов, образующими динамическую функциональную систему (ДФС). Причем один и тот же агнейрон может входить в различные синхронно активные ДФС. На рисунке 4 в ин-теллектоне подсознания показаны четыре одновременно активные ДФС, две из которых (выделены более темным тоном) выполняют идентификацию и решение проблем, связанных с процессами, протекающими во внешней по отношению к данному интеллектуальному
агенту среде, а две другие (более светлые на рисунке) - с процессами, имеющими место в «теле» самого интеллектуального агента.
Так как решением каждой из этих проблем является некоторый план действий, а действия, как правило, выполняются такими «монопольными» частями организма («тела»), как эффекторы (у человека, например, это руки, ноги и т.п. части тела), то в случае, если каждая из ДФС попытается перехватить управление такими эффекторами, наступит коллапс, для биологических организмов чреватый частичным разрушением или гибелью.
Помимо «физических» эффекторов монопольного доступа могут потребоваться также и «ментальные» комплексы - например, части интеллектонов, выполняющие моделирование в процессе рассуждений. Интроспективный анализ нашей способности к таким рассуждениям наглядно демонстрирует, что синхронное применение такой «машины моделирования» для различных ситуаций крайне затруднено.
Рис. 4. Схема строения двухуровневого суперинтеллектона Fig. 4. Scheme of the structure of a two-level superintelligence
Таким образом, в соответствии с нашей гипотезой двухуровневая структура суперинтеллектона эволюционно детерминирована, безусловно, необходимостью управления распределением ресурсов между задачами.
Однако, вероятнее всего, наиболее существенное системное значение этого эволюционного приобретения заключается в возможности реферировать части и элементы графов деревьев решений проблемных ситуаций между собой.
Вполне можно представить себе децентрализованные одноранговые алгоритмы управления распределением монопольных ресурсов, как и возможности моделирования воображаемого прошлого и будущего в противовес (или в дополнение) к реальному настоящему, реализуемые интеллектоном подсознания с помощью моделирующих агнейронов.
Можно даже предположить, что одноранговая система управления способна моделировать субъективно-объективную оппозицию, в том случае, если ДФС в составе интеллектона подсознания, обрабатывающие сигналы от интероцепторов, в этом смысле функционально отделены от ДФС этого же интеллектона, принимающих сигналы от внешней среды.
Однако организация процессов управления произвольным переносом частей одних функциональных систем для временного (тестового) или постоянного последующего функционирования в них с помощью децентрализованных алгоритмов в одноранговой системе априори представляется малоэффективной.
Для того чтобы управлять произвольной активностью различных агнейронов в составе ДФС, с целью встраивания ее результатов в работу другой ДФС, необходимо «удерживать» контекст работы обеих этих ДФС. Для этого необходимо иметь возможность наблюдать за работой всех частей интеллектона подсознания и оказывать управляющие воздействия на них. Поэтому на рисунке 4 показано, что сенсоры интеллектона сознания регистрируют выходные сообщения (изображены пустыми овалами, оконтуренными пунктирной линией) агнейронов, а его эффекторы оказывают влияние на сами эти агнейроны.
Способ, с помощью которого производится такой анализ и генерируются управляющие воздействия, аналогичен тому, который используется в самом инварианте когнитивной архитектуры подсознания: как мы уже указывали выше и как следует из рисунка 4, интел-лектон сознания представляет собой точно такую же нейрокогнитивную архитектуру, в которой на основе тех же самых принципов формируются соответствующие динамические функциональные системы управления поведением интеллектона подсознания.
Интеллектон сознания, таким образом, имеет возможность не только управлять переключением фокуса внимания между активными ДФС интеллектона подсознания, но и переносить части графов решений проблемных ситуаций, моделируемых этими ДФС, друг в друга, объединять их между собой, создавая тем самым предпосылки для решения многокритериальных задач.
Подобные возможности, собственно, и обеспечивают взрывной рост эффективности процесса идентификации проблем и синтеза их решений. В основе ускорения здесь лежит качественное изменение, проявляющееся с добавлением в управляющую нейрокогнитив-ную архитектуру интеллектона сознания, обеспечивающего способность интеллектуального агента проецировать элементы одних проблемных ситуаций (события, оценки, действия) на другие.
Гипотетический механизм такого управления, по нашему мнению, состоит в том, что интеллектон сознания произвольно стимулирует отправку сообщений теми или иными аг-нейронами в составе некоторых ДФС интеллектона подсознания некоторым агнейронам других ДФС того же интеллектона. Эти сообщения могут быть поощряющими или запретительными: например, предписания на получение или лишение вознаграждения в виде порций энергии. Отправка такого сообщения вызывает запуск работы последующих и некоторых предыдущих агнейронов в составе определенных ДФС, имитируя их работу в «режиме воображения», когда в когнитивной архитектуре имитируется «искусственно
вызванная» мыслительная деятельность, в отличие от «реального режима», в котором такая же мыслительная деятельность (те же мысли) может быть вызвана только в результате отражения событий, реально происходящих в системе «агент - среда».
Этот механизм позволяет комбинировать между собой в воображении интеллектуального агента самые различные ситуации и, соответственно, моделировать результаты их объединения, что, вероятно, является видовым эволюционным преимуществом человека.
Если возможность синтеза произвольных ДФС на основе комбинации и объединения уже существующих ДФС позволяет строить в воображении произвольные графы решений проблемных ситуаций и у интеллектуального агента имеется коммуникационный канал к социальному окружению, основанный на возможности интерпретации знаков в смыслы, выраженные в терминах сообщений агнейронов в составе тех или иных ДФС, то это означает, что с использованием данных механизмов интеллектон сознания может обеспечить создание произвольной ДФС, состоящей частично из существующих ДФС, частично из ДФС, ранее произвольно синтезированной им в воображении, и частично - из ДФС, активность которых индуцирована в результате интерпретации знаковых сообщений.
Фактически двойной контур управления суперинтеллектона таким образом обеспечивает интеллектуальному агенту возможность использования абстрактных символьных систем для организации «размышлений по аналогии» с теми, которые были выполнены ранее другими интеллектуальными агентами, т.е. создает инфраструктурную основу обучения и обмена знаниями с использованием речевых и текстовых сообщений на естественном языке.
В сообществе исследователей систем общего искусственного интеллекта достаточно широко представлено мнение, что именно способность к автономному целенаправленному использованию рассуждений на основе абстрактных знаковых систем и является ключевым классифицирующим признаком таких систем [2].
В [ 1, 10] показано, что интеллектон подсознания способен структурировать входной поток данных путем использования предустановленных паттернов распознавания для идентификации событий в системе «агент - среда», их представления в нейрокогнитивной архитектуре в виде мультиагентных фактов и связи таких фактов между собой в формате причинно-следственных зависимостей.
Однако в речевых сообщениях описываются события, которые непосредственно не представлены в афферентном потоке интеллектуального агента, поэтому их интерпретация, выполняемая с помощью все того же интеллектона подсознания, с необходимостью порождает ситуацию, когда в условном «мыслительном рабочем пространстве» интеллектуального агента становятся активными сразу несколько ДФС.
Ситуация «коктейльной вечеринки» осложняется тем, что таких ДФС в этом рабочем пространстве одновременно возникает достаточно много, и, кроме того, распознаваемые речевые события относятся к различным из этих ДФС, причем большая часть последних в качестве своей основной темы имеют события, не связанные напрямую с данным интеллектуальным агентом (как субъектом восприятия).
В такой ситуации одноранговая система, такая как интеллектон подсознания, не способна справиться с обработкой потоков данных, так как ни у одной из ДФС нет приоритета перед другими для того, чтобы перехватить управление монопольными ресурсами ольфак-торного аппарата.
Соответственно, мы можем предположить, что, напротив, интеллектон сознания как раз имеет такую возможность, так как для него реализация референции событий между графами проблемных ситуаций является одной из основных функциональных задач. В
частности, как указывалось выше, он имеет возможность стимулировать ту ДФС, которая реализует проблемную ситуацию, представляющую интерес для интеллектуального агента в контексте одного из множества диалогов на «коктейльной вечеринке», и, соответственно, подавить все остальные ДФС, обеспечивающие контексты восприятия всех остальных синхронных диалогов.
В таком случае происходит «тонкая настройка» как ольфакторного аппарата интеллектуального агента, так и нейроморфологических речевых анализаторов, работа которых реализуется такими ДФС. Это позволит реферировать входные речевые события, относя их к релевантным проблемным ситуациям, выполняя тем самым эффективную онтологизацию системы «агент - среда».
Механизм управления референцией на основе работы двухуровневого суперинтел-лектона требует своего экспериментального подтверждения. Над созданием имитационной модели агента общего искусственного интеллекта под управлением суперинтеллектона в настоящее время ведется работа с помощью разрабатываемой системы визуализации и редактирования мультиагентных нейрокогнитивных архитектур.
Заключение
Таким образом, в результате данного исследования разработаны основные принципы и модели управления референцией речевых сообщений на основе создания двухконтурной модели мультиагентной нейрокогнитивной архитектуры - суперинтеллектона, реализующего взаимодействие интеллектона подсознания и интеллектона сознания.
Сформированы требования к онтологиям агента общего искусственного интеллекта, условия их формирования и обозначены функциональные узлы нейрокогнитивных архитектур, необходимые для их эффективного формирования в режиме обучения.
Разработан мультиагентный алгоритм нейрокогнитивного управления референцией речевых сообщений на основе механизма достройки множественных графов проблемных ситуаций при онтологизации системы «агент - среда» на основе их произвольного редактирования интеллектоном сознания.
Полученные результаты могут быть применены при создании систем распознавания и понимания речи, работоспособных при применении в зашумленных средах и ситуациях множественных синхронных диалогов для повышения качества распознавания с использованием понимания контекста ситуаций.
REFERENCES
1. Нагоев З. В. Интеллектика, или Мышление в живых и искусственных системах. Нальчик: Издательство КБНЦ РАН, 2013. 232 с.
Nagoev Z.V. Intellektika, ili Myshleniye v zhivykh i iskusstvennykh sistemakh [Intelligence, or Thinking in living and artificial systems]. Nalchik: Izdatel'stvo KBNTS RAN, 2013. 232 p. (In Russian)
2. Cyrus H. Gordon. The Accidental Invention of the Phonemic Alphabet. Journal of Near Eastern Studies. 1970. Vol. 29. No. 3. Pp. 193-197.
3. Russell S., Norvig P. Artificial Intelligence: A Modern Approach (AIMA). 2nd ed. Moscow: Williams, 2007. 1424 p.
4. Нагоев З. В., Нагоева О. В. Обоснование символов и мультиагентные нейрокогнитивные модели семантики естественного языка. Нальчик: Издательство КБНЦ РАН, 2022. 150 с.
Nagoev Z.V., Nagoeva O.V. Obosnovaniye simvolov i mul'tiagentnyye neyrokognitivnyye modeli semantiki yestestvennogo yazyka [Symbol grounding and multi-agent neurocognitive models of natural language semantics]. Nalchik: Izdatel'stvo KBNTS RAN, 2022. 150 p. (In Russian)
5. Nagoev Z., Nagoeva O., Anchekov M. et al. The symbol grounding problem in the system of general artificial intelligence based on multi-agent neurocognitive architecture. Cognitive Systems Researchthis link is disabled. 2023. No. 79. Pp. 71-84.
6. Nagoev Z., Pshenokova I., Nagoeva O., Sundukov Z. Learning algorithm for an intelligent decision making system based on multi-agent neurocognitive architectures. Cognitive Systems Research. Vol. 66. 2021. Pp. 82-88. ISSN 1389-0417. https://doi.org/10.1016/j.cogsys. 2020.10.015.
7. Nagoev Z., Nagoeva O., Gurtueva I. Multi-agent neurocognitive models of semantics of spatial localization of events. Cognitive Systems Research. 2020. Vol. 59. Pp. 91-102.
8. Nagoev Z., Gurtueva I., Malyshev D., Sundukov Z. Multi-agent algorithm imitating formation of phonemic awareness. Advances in Intelligent Systems and Computing. 2020. Vol. 948. Pp. 364-369.
9. Nagoev Z., Pshenokova I., Gurtueva I., Bzhikhatlov K. A simulation model for the cognitive function of static objects recognition based on machine-learning multi-agent architectures. Advances in Intelligent Systems and Computing. 2020. Vol. 948. Pp. 370-378.
10. Нагоев З. В. Онтонейроморфогенетическое моделирование // Известия Кабардино-Балкарского научного центра РАН. 2013. № 4(54). С. 46-56.
Nagoev Z.V. Ontoneuromorphogenetic modeling. News of the Kabardino-Balkarian Scientific Center of RAS. 2013. No. 4(54). Pp. 46-56. (In Russian)
11. Hui P.-Y., Meng H. Latent Semantic Analysis for Multimodal User Input With Speech and Gestures. IEEE/ACM Transactions on Audio, Speech and Language Processing. 2014. Vol. 22. No. 2. Pp. 417-429.
12. Despotovic V., Walter O., Haeb-Umbach R. Machine learning techniques for semantic analysis of dysarthric speech: An experimental study. Speech Communication. 2018. Vol. 99. Pp. 242-251.
Информация об авторе
Нагоев Залимхан Вячеславович, канд. техн. наук, генеральный директор Кабардино-Балкарского научного центра РАН;
360000, Россия, г. Нальчик, ул. И. Арманд, 37-а;
zaliman@mail.ru, ORCID: https://orcid.org/0000-0001-9549-1823
Нагоева Ольга Владимировна, науч. сотр. отдела «Мультиагентные системы», Институт информатики и проблем регионального управления - филиал Кабардино-Балкарского научного центра РАН;
360000, Россия, г. Нальчик, ул. И. Арманд, 37-а;
nagoeva_o@mail.ru, ORCID: https://orcid.org/0000-0003-2341-7960
Макоева Дана Гисовна, канд. филол. наук, зав. лабораторией «Компьютерная лингвистика», Институт информатики и проблем регионального управления - филиал Кабардино-Балкарского научного центра РАН;
360004, Россия, г. Нальчик, ул. И. Арманд, 37-а;
makoevadana@mail.ru, ORCID: https://orcid.org/0000-0001-5955-2262
Гуртуева Ирина Асланбековна, науч. сотр. лаборатории «Компьютерная лингвистика», Институт информатики и проблем регионального управления - филиал Кабардино-Балкарского научного центра РАН;
360004, Россия, г. Нальчик, ул. И. Арманд, 37-а;
gurtueva-i@yandex.ru, ORCID: https://orcid.org/0000-0003-4945-5682
Information about the author
Nagoev Zalimkhan Vyacheslavovich, Candidate of Technical Sciences, General Director of the Kabardino-Balkarian Scientific Center of the Russian Academy of Sciences;
360000, Russia, Nalchik, 37-a I. Armand street;
zaliman@mail.ru, ORCID: https://orcid.org/0000-0001-9549-1823
Nagoeva Olga Vladimirovna, Researcher of the Department "Multiagent Systems", Institute of Computer Science and Problems of Regional Management - branch of Kabardino-Balkarian Scientific Center of the Russian Academy of Sciences;
360000, Russia, Nalchik, 37-a I. Armand street;
nagoeva_o@mail.ru, ORCID: https://orcid.org/0000-0003-2341-7960
Makoeva Dana Gisovna, Candidate of Philological Sciences, Head of the Laboratory of Computational Linguistics, Institute of Computer Science and Problems of Regional Management - branch of Kabardino-Balkarian Scientific Center of the Russian Academy of Sciences;
360000, Russia, Nalchik, 37-a I. Armand street;
makoevadana@mail.ru, ORCID: https://orcid.org/0000-0001-5955-2262
Gurtueva Irina Aslanbekovna, Researcher of the Laboratory of Computational Linguistics, Institute of Computer Science and Problems of Regional Management - branch of Kabardino-Balkarian Scientific Center of the Russian Academy of Sciences;
360000, Russia, Nalchik, 37-a I. Armand street;
gurtueva-i@yandex.ru, ORCID: https://orcid.org/0000-0003-4945-5682
