33Известия Кабардино-Балкарского научного центра РАН № 2 (88) 2019
ИНФОРМАТИКА. ВЫЧИСЛИТЕЛЬНАЯ ТЕХНИКА. УПРАВЛЕНИЕ
УДК 004.8
DOI: 10.35330/1991-6639-2019-2-88-11-23
МУЛЬТИАГЕНТНЫЕ НЕЙРОКОГНИТИВНЫЕ МОДЕЛИ СЕМАНТИКИ ПРОСТРАНСТВЕННОЙ ЛОКАЛИЗАЦИИ СОБЫТИЙ*
З.В. НАГОЕВ1, О.В. НАГОЕВА2, И.А. ПШЕНОКОВА2
1ФГБНУ «Федеральный научный центр «Кабардино-Балкарский научный центр Российской академии наук» 360002, КБР, г. Нальчик, ул. Балкарова, 2 E-mail: [email protected] 2Институт информатики и проблем регионального управления -филиал ФГБНУ «Федеральный научный центр «Кабардино-Балкарский научный центр Российской академии наук» 360000, КБР, г. Нальчик, ул. И. Арманд, 37-а E-mail: [email protected]
В работе доказывается, что мультиагентная нейрокогнитивная архитектура представляет собой эффективный формализм для описания семантики пространственной локализации событий. Показано, что локативные программные агенты, описывающие пространственное местоположение объектов и событий, образуя гомогенные связи, формируют т.н. поле локаций, описывающее целостное представление интеллектуального агента о пространстве окружающей среды.
Ключевые слова: нейрокогнитивная модель, семантика, мультиагентные системы, локализация, когнитивная архитектура.
Введение
Специфика пространственных отношений обусловлена свойствами материального мира и пространства, которые связаны с ограничениями типа невозможности одновременного пребывания разных объектов в одной точке пространства, конструкционной связности, физическими свойствами объектов. В [1] дано описание интеллектуального агента, погруженного в эпизодическую, частично наблюдаемую динамическую стохастическую среду. Такой агент воспринимает эту среду с помощью системы многомодальных сенсоров, генерирующих потоки неструктурированных данных. Эти данные подаются на вход интеллектуальной системой принятия решений и управления агента, представляющей собой так называемую мультиагентную нейрокогнитивную архитектуру [3, 4, 7]. Такая когнитивная архитектура отличается возможностью рекурсивной вложенности агентов, взаимодействующих в рамках единой системы функциональных узлов на основе обмена сообщениями. Каждый агент обладает целевой функцией максимизации энергии, рассматриваемой в качестве описательной характеристики - меры активности агента в среде. Агенты пополняют свою энергию, получая ее порции от агентов других видов в обмен на информацию, которую они предоставляют этим агентам, выполняя т.н. мультиагентный контракт - протокол (алгоритм) взаимодействия агентов данных типов. Энергия расходуется агентами на поддержание жизнедеятельности и оплату своих обязательств перед другими агентами по контрактам. Такая система отвечает на возмущение внешней среды запуском процессов самоорганизации, в результате выполнения которых она стремится к некоторым аттракторам, интерпретируемым пользователями в терминах семантически значимых состояний (в том числе психологических) интеллектуального агента.
* Работа выполнена при поддержке грантов РФФИ №№ 18-01-00658, 19-01-00648
Цели функционирования подобного интеллектуального агента в такой среде связаны с выполнением задач, определяемых пользователем путем формирования высказываний на ограниченном подмножестве естественного языка.
Для интерпретации естественно-языковых высказываний на базе мультиагентной нейрокогнитивной архитектуры строится система понимания речи, с помощью которой и решается задача постановки миссии пользователем интеллектуальному агенту [5]. Для этого в систему вводятся т.н. агенты-слова, типы которых соответствуют основным частям речи. В когнитивной архитектуре также создаются агенты-концепты, соответствующие этим словам и выполняющие функцию понятий, составляя вместе с этими словами пары, функционально соответствующие двум из трех вершин треугольника Фреге.
Инвариант мультиагентной когнитивной архитектуры включает в себя функциональные области, названные в [1] когнитонами, последовательная работа которых позволяет интеллектуальному агенту синтезировать свое поведение за разумное время. В частности, выделены когнитоны распознавания, оценки, потенциалиса, целеполагания, синтеза плана действий, контроля и обучения. Каждый когнитон в свою очередь состоит из системы агентов разных типов, совокупная активность которых направлена на обеспечение соответствующей системной функции «в организме» интеллектуального агента.
В [2] показано, что последовательная работа когнитонов в составе инварианта муль-тиагентной рекурсивной когнитивной архитектуры обеспечивает интеллектуальному агенту возможность постановки и решения универсального спектра задач взаимодействия со средой. Такая когнитивная архитектура названа в [1] интеллектоном.
Семантика пространственных отношений между объектами, являющимися либо целями поискового поведения интеллектуального агента, либо препятствиями при планировании или реализации такого поведения, структурно детерминирована последовательностью когнитонов, выполняющих декомпозицию проблемы поиска, а функционально -соотношением затрат энергии, которую агенту необходимо потратить на поиск и консу-мацию объекта в среде, и энергии, которую агенту приносит такая консумация.
Таким образом, использование мультиагентной нейрокогнитивной архитектуры создает предпосылки для имитационного моделирования семантики пространственных отношений между объектами реальной среды на основе суперпозиции значений, определяемых агентами-понятиями различных типов при их мультиагентном взаимодействии, целью которого является редуцированное рефлексивное отражение этих объектов из реальной среды в пространство «поисковых проблем».
Целостное восприятие роботом объектов реального мира, их естественно-языковых названий и пространственных отношений между ними, сформированных на основе муль-тиагентной когнитивной архитектуры, подтверждено экспериментами по решению мобильным роботом задачи расстановки объектов по заданным местам.
1. Пространственные отношения и их нейроморфологические корреляты
Данные нейрофизиологии свидетельствуют о наличии внутренней слабо осознаваемой системы описания пространственных отношений, основной функциональной единицей которых являются единицы моделирования пространства как такового, отражающие непосредственно пространственные данные [8]. Нейроморфологически такая система отношений обосновывается наличием специальных нейронов головного мозга, отвечающих за локализацию объектов. В частности, в работах нобелевских лауреатов [9] установлено наличие специальных топологических (или локативных) нейронов, кодирующих, запоминающих и воспроизводящих пространственную информацию. В данной работе мы используем понятие так называемых локативных нейронов, которые используются для заключения контрактов с нейронами, репрезентирующими концепты. Сущность этих контрактов сводится к установлению двух основных значимых фактов:
1) определение и отражение точек пространства, в которых находятся объекты;
2) описание пространственных отношений между этими точками.
Конечно, свойства т.н. функционально-семантического поля до конца еще не установлены и представляют собой дискуссионный вопрос. В работе [11] выделяются типы пространственных отношений, которые проявляются в языке как многогранная область значений, центральным содержанием которой является событийная локализация. Главный тип отношений в данной семантике, ее доминанта - обозначение действия, протекания события в пределах какого-либо пространства. Второй тип - выражение динамических пространственных отношений, связанных с ситуацией движения, перемещения, где локальность характеризует начальный, конечный пункт движения, трассу и т.д. Третий тип связан с обозначением положения предметов относительно друг друга. При этом один предмет выступает в качестве ориентира, по соотносимости с которым определяется местонахождение другого предмета. Значительная сфера пространственных отношений имеет ярко выраженное антропоцентрическое содержание, поскольку связана с расположением и восприятием лица. Позиция говорящего в ситуации речи наиболее последовательно проявляется в дейктических номинациях и образует субъектно-ориентированную локализацию - четвертую семантическую разновидность пространственных отношений. Пятый тип - параметрические характеристики объектов и явлений действительности, которые являются необходимой составляющей данной области значений, т.к. отражают трехмерность пространства [10] как одно из важнейших его свойств.
Однако, по мнению большинства исследователей, основным доминирующим типом семантики пространственных отношений является локализация действия, события. В данной работе мы как раз фокусируемся на моделировании этого типа семантики пространственных отношений.
В отличие от исследователей из других отраслей знаний (психология, лингвистика) нас семантика пространственных отношений интересует с конструктивистских позиций, с точки зрения возможностей ее формализации для последующего использования в системах искусственного интеллекта и интеллектуальных системах (программные системы и роботы).
Для автономных интеллектуальных мобильных роботов принципиальное значение имеет возможность навигации в реальной среде, между объектами их непосредственного интереса. Внутренняя репрезентация пространства должна позволять такой системе формировать связные пути между локациями объектов на основе их относительных пространственных координат и их соотношения с шагом внутренней пространственной сетки. Существование такой «топологической» сетки с минимальным шагом дискретизации доказано в работах группы Мозеров [10].
Сложность технического процесса определения текущего местоположения и построения карты обусловлена низкой точностью приборов, участвующих в процессе вычисления текущего местоположения. Существует метод одновременной навигации и построения карты (SLAM) - это концепция, которая связывает два независимых процесса в непрерывный цикл последовательных вычислений. При этом результаты одного процесса участвуют в вычислениях другого процесса.
Объектом исследования в данной работе является семантика пространства локализации событий.
Предметом исследования является возможность создания мультиагентных моделей семантики локативных отношений.
Цель исследования - разработка обучающейся системы внутренней репрезентации пространства локализации событий, ориентации и навигации автономных мобильных систем.
Задача исследования - разработка имитационных моделей семантики пространства локализации событий на основе мультиагентных нейрокогнитивных архитектур.
2. Интеллектуальный агент на основе мультиагентной нейрокогнитивной архитектуры В вышеприведенных рассуждениях одно из центральных мест занимает концепция субъекта восприятия - интеллектуальная система (агент), вовлеченная в пространственную локализацию событий. Проблема построения внутренних моделей семантики этого процесса существенна именно в контексте взаимодействия пользователей с подобными интеллектуальными агентами (программными автономными системами, мобильными роботами). Для цели настоящего исследования в качестве интеллектуального агента будем рассматривать автономного мобильного робота, оснащенного интеллектуальной системой принятия решений и управления на основе так называемой мультиагентной нейроко-гнитивной архитектуры [7] (рис. 1).
Рис. 1. Автономный мобильный робот САЛИМА
Когнитивная архитектура робота является мультиагентной, состоящей из рациональных программных агентов различных типов, распределенных по функциональным узлам (множествам агентов): распознавания событий (множество агентов Я), оценки степени их значимости (Е), синтеза цели (О), синтеза планов поведения (А), потенциалиса (Р), контроля выполнения плана (С). Предполагается, что агенты в составе узлов когнитивной архитектуры имитируют некоторые элементы поведения нейронов головного мозга человека, интерпретируемого на информационном уровне в качестве процесса синтеза высказываний на определенном языке. Сам нейрон при этом моделируется детерминированным абстрактным автоматом. Высказывания агентов определенного уровня (функционального узла) в когнитивной архитектуре распознаются агентами следующего последовательного уровня когнитивной архитектуры. Агенты взаимодействуют друг с другом посредством отправки сообщений, содержащих высказывания на своем языке. Каждый агент имеет
встроенную базу знаний, состоящую из продукционных правил. Левые части правил представляют собой логические объединения описаний текущего и желаемого состояний агента, а правые части продукции описаны действиями, которые агент должен выполнить для перехода из текущего в желаемое состояние. Целевая функция рационального агента выражена в терминах так называемой энергии агента - описательной величины, условно характеризующей меру активности агента в среде его пребывания. Агент имеет возможность накапливать и модифицировать знания путем обучения. Для этого у него предусматриваются операции для добавления и удаления продукционных правил в базе знаний, а также средства редактирования левых и правых частей продукции. Рациональность агентов проявляется, в частности, в том, что, реализуя свою целевую функцию, при переходе из текущего состояния они выбирают из доступных целевых состояний самое выгодное с энергетической точки зрения.
В работах [3, 4] введены типы агентов в составе функциональных узлов когнитивной архитектуры и специальные графические обозначения для них. В частности, в [3] введены агенты, представляющие концепты субъектов и объектов действия (агентов и предметов реального мира), действий, признаков объектов и действий, обстоятельств времени и места. В указанной работе показано, что описание событий, регистрируемых интеллектуальным агентом на основе афферентных потоков неструктурируемых данных из внешней среды, осуществляется с помощью указанных агентов - концептов, распознающих в этих потоках данных свои входные сигнатуры, а затем объединяющихся друг с другом в динамические функциональные системы с помощью контрактов, соответствующих так называемым валентностям этих агентов. Валентностью будем называть способность агента вступать в контрактные отношения с агентами определенного типа, обеспечивающую обмен информации на энергию и в конечном счете определяющую типы отношений, в которые данный агент может вступать с другими объектами на структурном и функциональном уровнях.
3. Нейрокогнитивные мультиагентные модели локации
Структуризация входных потоков данных основывается на создании функциональных узлов обработки информации (агентов и групп агентов), задачей которых является извлечение из этих потоков всех необходимых сведений для формирования агент-ориентированного описания действительности. Такое описание детерминировано в первую очередь структурой и свойствами самого интеллектуального агента, среды, в которую он погружен, и свойствами соотношений между интеллектуальным агентом и средой. Следовательно, это описание должно носить характер инварианта для интеллектуальных агентов определенных типов, действующих в определенных средах.
Содержательной основой такого инвариантного описания является способ представления (кодирования) информации об указанных объектах и отношениях, эффективный для решения основных задач, стоящих перед интеллектуальным агентом.
Ключевое значение для достижения эффективности решения интеллектуальным агентом целевых задач имеет возможность создания и использования внутренних моделей действительности, позволяющих строить и исследовать дерево альтернатив для проблемы синтеза поведения этого агента на отрезке времени до горизонта планирования, субоптимального по критерию максимизации целевой функции энергии.
На практике оказывается, что состояние, значимое с точки зрения возможности изменения значения целевой функции, встречается достаточно редко. Поэтому для интеллектуального агента, работающего в дискретном времени, целесообразно маркировать не единичные состояния, основанные на обработке одного сенсорного образа, а события, включающие в себя достаточно длительные последовательности таких состояний. Здесь мы имеем дело с элементом структурной редукции пространства поиска.
Еще одним таким элементом является замена фрагментов сенсорного образа символическим представлением - понятием, инкапсулирующим наборы последовательных изме-
рений, выполняемых сенсорной системой. Такая замена осуществляется с учетом наблюдаемых свойств реального мира, проявляющихся прежде всего в синкретическом единстве пространства, времени и материи.
В [4] были описаны агенты-понятия, выполняющие в когнитивной архитектуре функцию репрезентации объектов, явлений и их признаков. Было, в частности, показано, что такие агенты-понятия делятся в соответствии с типами представляемых объектов.
Агенты порождаются в процессе функционирования системы по требованию на основе входных потоков неструктурированных данных, генерируемых сенсорными системами интеллектуального агента. Сущность структурной редукции, выполняемой с использованием агентов-понятий, заключается в замене последовательностей афферентных данных таким концептуальным агентом в процессе интериоризации
Использование системы концептуальных агентов, порождаемых по требованию в ситуативно-обусловленном контексте, позволяет после соответствующего обучения распознавать входные события и строить их описание на основе мультиагентного представления некоторого факта об объектах реальной среды. В [4] дается описание агентов, контракты между которыми формирует мультиагентное представление такого факта. В частности, показано, что семантическая структура такой конструкции соответствует типам отношений в предложении на естественном языке (рис. 2).
(17;28;200)
Video-colour
Video-shape
Kbrd
>
D>
□
black-adjective.
Factory-adjectives
Рис. 2. Мультиагентный факт и его естественно-языковое описание в когнитивной архитектуре интеллектуального агента (на примере распознавания пульта от телевизора и определения его местоположения)
На рисунке с помощью геометрических фигур изображены агенты-понятия (субъект, действие, объект, признак, признак действия, локус, время), а геометрическими фигурами, вписанными в многоугольники, представляются соответствующие агенты-слова, выполняющие в предложении определенные синтаксические функции (подлежащее, сказуемое, дополнение, признак предмета, признак действия, обстоятельство места, обстоятельство времени). На рисунке показаны связи между агентами, соответствующие их валентностям. Мультиагентный факт считается полностью сформированным, если у агентов, входящих в его состав, не остается пустых валентностей.
Как показано в [3, 4], типы отношений, определяемых валентностями, соответствуют алгоритмам обмена информацией и энергией между агентами на основе определенного протокола взаимодействия. Агенты, желающие получить вознаграждение, на основе такого протокола формируют предложения о «продаже» известной им информации в формате сообщения, что записывается таким образом:
Л(^':имя, е/1 = ,(?)
К^-2^:'что делает?", е/2 = у(?) ^¿к-2^"' : "какой?", е/3 = у(?) К^Ч'где?", е/4= 5(?) К(К-2)1У:"когда?", е/5 = у(?)
Запись: : имя, е(- = У(?) означает, что агент ищет для заключения кон-
тракта агента-покупателя, который приобретет информацию, содержащуюся в сообщении
Л(к-2)1'': имя в обмен на вознаграждение е/. Запись: Л(д-2)1: "кто?", е^ = У(?) означает, что агент ищет для заключения контракта агента-продавца, который предоставит
информацию, отвечающую на вопрос "кто?" в обмен на вознаграждение е^.
Соответственно другой агент «покупает» данную информацию, передавая первому агенту определенную порцию энергии. Инициатором такого обмена может выступить и агент-покупатель (заказчик). В этом случае предложение о покупке информации имеет вид вопроса определенного типа. Типы вопросов, задаваемых агентами друг другу, детерминированы видами агентов и набором их валентности.
Таким образом, высказывания на естественном языке, интерпретируемые с помощью подобной когнитивной архитектуры, обеспечиваются мультиагентными моделями семантики.
На рисунке 2 показан так называемый локативный агент (агент-понятие-место), который изображен квадратом. Как следует из рисунка, между агентом-понятием-субъектом и агентом-понятием-действием заключены два контракта - первый, в соответствии с которым агент-понятие-субъект «покупает» информацию о действии, которое он выполняет, второй - в соответствии с которым агент-понятие-действие «покупает» информацию о том, кто именно из агентов выполняет представляемое им действие.
Между агентом-понятием-действием и агентом-понятием-локусом выполняется только один контракт. Это означает, что семантическая функция агента-понятия-локуса не связана с необходимостью управления сложными контекстами, образованными на основе других агентов-понятий, но ограничивается идентификацией местоположения объектов, задействованных событий реальной среды, описываемых мультиагентным фактом.
На рисунке также представлены т.н. агенты-времени. Они соединены с агентом-понятием-действием однонаправленным контрактом и, соответственно, не предоставляют энергию, а предоставляют только информацию в ответ на запросы агента-понятия-
действия. Образуя контракты с агентом-понятием-объектом, агентом времени и локативными агентами, агент-понятие-действие как бы фиксирует факт наличия объекта в определенной точке пространства в определенное время.
Таким образом, формируется опыт, описывающий события реального мира в пространственно-временной привязке, что имеет принципиальное значение для возможности припоминания событий прошлого и синтеза мультиагентных фактов, представляющих локативные отношения между еще не наступившими воображаемыми будущими событиями.
Представим, что нам надо описать местоположение нескольких объектов, не задействованных в составе одного события. Пусть автономному мобильному роботу САЛИМА, изображенному на рисунке 1, требуется исследовать незнакомое помещение, обнаружив все знакомые ему объекты и изучив (обучившись распознаванию и естественноязыковой номинации) все незнакомые, составив внутреннюю карту местоположения этих объектов. Такая карта должна позволять роботу строить маршрут от одного объекта к другому и перемещаться между этими объектами по команде на естественном языке. Кроме того, необходимо научить робота определять пространственные отношения между объектами и отвечать на вопросы на естественном языке относительно абсолютного и взаимного расположения этих объектов.
Афферентные потоки интеллектуальному агенту, выполняющему функции управления роботом и представляющему собой мультиагентную нейрокогнитивную архитектуру, обеспечивают многомодальные сенсоры, состоящие из аппаратно-программного рецептора (датчика) и программного актора, реализующего предобработку «сырых» данных, генерируемых рецепторами (рис. 3).
above
lies
Рис. 3. Структура локативного сенсора когнитивной архитектуры
Робот обладает сенсорами расстояния на основе инфракрасных и ультразвуковых дальномеров, двумя видеокамерами, двумя энкодерами, установленными на осях колес, сенсором боли (определения столкновений), сенсором удовольствия (энергии). Сенсоры боли и удовольствия основаны на работе интероцептеров, регистрирующих значения внутренних параметров робота, остальные сенсоры основаны на работе экстероцептеров, регистрирующих значения параметров внешней среды. Робот оснащен двумя мотор-колесами, способными вращаться в разные стороны, и двумя подкатными колесиками. У него также есть два манипулятора-руки, оснащенных пятипальцевыми кистями с тросо-
выми приводами. Руки очувствлены с помощью пьезоэлементов (рецепторов касания), датчиков Холла (силомоментный рецептор), датчиков угла поворота (проприоцепторы).
В нейрокогнитивной архитектуре интеллектуального агента робота реализована возможность порождения агентов разных типов по требованию, с помощью специальных акторов, условно называемых фабриками. Алгоритм поведения робота, направленного на исследование помещения, состоит из следующих основных шагов:
1. Определение стартовой точки, с которой робот начинает знакомство с помещением.
2. Далее робот, используя систему распознавания видеообразов, определяет знакомые ему объекты, находящиеся в помещении и попавшие в поле его зрения, ориентируется на наиболее крупный из них и перемещается по направлению к нему вплоть до срабатывания логического сенсора боли (определение столкновений), который срабатывает на определенном заданном расстоянии.
3. Робот регистрирует наличие события, описывающего пребывание этого объекта в данной точке помещения (локации) путем формирования мультиагентной группы (факта).
4. Локативные агенты обладают набором из 11 валентностей. Это одна связь с агентом-понятием-действием и 10 связей с ближайшими к данному агенту локативными агентами, известными на данный момент или в будущем, по пространственному расположению: один сверху, один снизу, четыре по направлениям сторон света в горизонтальной плоскости и четыре по направлениям, отстоящим от сторон света на 45 градусов, также в горизонтальной плоскости. После появления первого локативного агента все 10 незадейство-ванных валентностей требуют своего заполнения. Однако заполнить их не представляется возможным в силу отсутствия других локативных агентов в системе. После появления второго агента, также снабженного 11 валентностями, у этих агентов появляется возможность образовать друг с другом двунаправленные контрактные связи, заполняющие по одной валентности у каждого агента в соответствии с относительными направлениями от агентов по отношению друг к другу.
5. Описав таким образом местоположение и пространственное положение между ними всех знакомых объектов, робот переходит к изучению неизвестных предметов. Завершив исследование помещения, робот не только строит внутреннюю пространственную карту помещения, но еще и обретает знания о том, какие объекты находятся в определенных частях данного помещения, а также обучается интерпретации естественно-языковых команд, описывающих задачи перемещения от одного объекта (локуса) к другому.
4. Эксперименты на роботе
Рассмотрим процесс создания нейрокогнитивной модели семантики пространственной локализации событий на примере задачи расстановки предметов в пределах определенной локации в соответствии с их обычным положением. Например, в комнате многие люди, склонные к порядку, предпочитают, чтобы предметы обихода располагались на своих строго определенных местах. Если по каким-то причинам предметы были перемещены со своих мест, то перед таким человеком встает задача снова расставить их по этим местам. Еще один пример - торговый зал магазина, в котором робот должен следить за тем, чтобы определенные товары регулярно появлялись на определенных полках и витринах.
Для того чтобы обучить робота, например, такого, как описано выше (рис. 1), решению этой задачи, надо сначала организовать процесс исследования этим роботом соответствующего помещения (локации) с целью установления местонахождения предметов и построения внутренней карты (поля). Затем необходимо построить процедуру, в соответствии с которой робот идентифицирует отсутствие объектов на своих местах, начинает искать эти объекты и перемещать их на привычное место.
Для решения первой задачи используем алгоритм, описанный в пункте 3 настоящей статьи. На рисунке 4 приведено изображение комнаты, в которой робот должен следить
мультиагентные нейрокогнитивные модели семантики пространственной локализации событий
за тем, чтобы три предмета: пульт от телевизора, цветок, ручка располагались на своих обычных местах так, как они изображены на этом рисунке.
Рис. 4. Объекты, расположенные в комнате
РасЯогу-а^есйуег
Рис. 5. Алгоритм формирования нейрокогнитивной архитектуры
На рисунке 5 приведен мультиагентный алгоритм формирования нейрокогнитивной архитектуры, описывающей местоположение предметов в данной локации, сформированной в результате обучения робота.
Далее приведено формальное описание данного алгоритма:
form
Rectangular ^ Fcontracts:m("rectangular,,) questions
Nwhat ^ Fobject: m("what") object
NTV remote ^ Fdisplay:m("TV I^te'O action
^lies ^ Fcontracts:m("lies")
questions
xwhere ^ Flocus *: m("where") locus
X(17;28;200) ^ Fdisplay:m("(17;28;200)")
Как видно по рисунку 5, в мультиагентной нейрокогнитивной архитектуре сформировались локативные агенты, описывающие местоположение объектов с помощью контрактов. Эти агенты связаны друг с другом контрактами, реализующими семантику пространственных отношений. Т.о. локативные агенты образуют своеобразное поле локации, содержащее все необходимые контракты и связи, для того, чтобы полностью решить задачи идентификации объектов и их абсолютного и относительного пространственного местоположения.
Т.о., как следует из вышеприведенного рисунка 5, в результате выполнения процедуры и алгоритма обучения в нейрокогнитивной архитектуре робота сформировалась репрезентация событий, соответствующих фактам нахождения 3 объектов на своих (правильных) местах.
Вторая часть решения задачи состоит в том, чтобы робот вновь попал в данную локацию после того как 3 целевых предмета будут переставлены со своих мест. Используя знания о предыдущем (правильном) местоположении объекта, робот идентифицирует события, состоящие в факте отсутствия искомого объекта в заданном месте и пребывание его в другом и строит соответствующее мультиагентное представление этого события в нейрокогнитивной архитектуре. Далее, идентифицировав объект, его нынешнюю локализацию и правильную локализацию, а также топологию и информацию о взаимном расположении локативных агентов в поле, робот строит путь от текущего локуса к искомому и перемещает туда объект.
Заключение
Т.о., мультиагентная нейрокогнитивная архитектура представляет собой эффективный формализм для описания семантики пространственной локализации событий. Разработаны теоретические основы имитационного моделирования пространственных отношений с помощью т.н. мультиагентных фактов, состоящих из программных агентов-понятий, отражающих семантические категории, соответствующие частям речи. Показано, что локативные агенты, описывающие пространственное местоположение объектов и событий, образуя гомогенные связи, формируют т.н. поле локаций, описывающее целостное представление интеллектуального агента о пространстве окружающей среды.
Разработаны концептуальные основы мультиагентного моделирования семантики отражения взаимодействия реальных объектов, пространства и времени.
Разработан и реализован алгоритм формирования тройственных связей между агентами-понятиями, описывающими события, их локализацией и временем наступления. Построена процедура обучения интеллектуального агента автономному формированию элементов нейрокогнитивной архитектуры, основанной на подобных тройственных контрактах.
С помощью данной процедуры проведено обучение автономного мобильного робота навигации и ориентации в различных локациях.
Целостное восприятие роботом объектов реального мира, их естественно-языковых названий и пространственных отношений между ними, сформированных на основе
МНКА, полученных таким образом, подтверждено экспериментами по решению мобильным роботом задачи расстановки объектов по заданным местам.
Дальнейшие исследования связаны с развитием методов формального описания сложных семантических отношений, учитывающих топологию предметов, их пространственную локализацию и динамику, с созданием систем понимания высказываний на естественном языке на основе таких моделей, обучением автономных робототехнических систем сложному поведению, естественно-языковому и голосовому управлению с использованием данного аппарата.
ЛИТЕРАТУРА
1. Нагоев З.В. Интеллектика, или Мышление в живых и искусственных системах. Нальчик: Изд-во КБНЦ РАН, 2013. 211 с.
2. Нагоев З.В. Методы принятия решений и управления в неструктурированных задачах на основе самоорганизующихся мультиагентных рекурсивных когнитивных архитектур: дисс. ... д-ра техн. наук. Нальчик, 2013. 304 с.
3. Нагоев З.В., Нагоева О.В. Моделирование семантики словосочетаний с атрибутивными прилагательными на основе мультиагентной рекурсивной когнитивной архитектуры // Известия Кабардино-Балкарского научного центра РАН. 2018. №3(83). С. 11-20.
4. Нагоев З.В., Нагоева О.В., Пшенокова И.А. Формальная модель семантики естественноязыковых высказываний на основе мультиагентных рекурсивных когнитивных архитектур // Известия КБНЦ РАН. Нальчик: Издательство КБНЦ РАН. 2017. № 4 (78). С. 19-31.
5. Нагоева О.В. и др. Системы понимания речи и модели представления семантики // Известия КБНЦ РАН. Нальчик: Издательство КБНЦ РАН. 2014. № 5 (61). С. 64-71.
6. Hafting T., Fyhn M., Bonnevie T., Moser M.-B. and Moser E.I. (2008). Hippocampus-independent phase precession in entorhinal grid cells. Nature 453, 1248-1252.
7. Nagoev Z.V. Multiagent recursive cognitive architecture // Biologically Inspired Cognitive Architectures 2012, Proceedings of the third annual meeting of the BICA Society, in Advances in Intelligent Systems and Computing series, Springer, 2012. Pp. 247-248.
8. Ramachandran, VS The Tell-Tale Brain: A Neuroscientist's Quest for What Makes Us Human. New York: W. W. Norton&Company. P. 357.
9. Solstad T., Boccara C.N., Kropff E., Moser M.-B. and Moser E.I. Representation of geometric borders in the entorhinal cortex. Science, 322, 1865-1868.
10. GUO Renzhong (1998) SPATIAL OBJECTS AND SPATIAL RELATIONSHIPS, Geo-spatial Information Science, 1:1, 38-42, DOI: 10.1080/10095020.1998.10553282
11. http://www.dissercat.com/content/prostranstvennye-otnosheniya-v-sovremennom-russkom-yazyke-semantika-i-sredstva-vyrazheniya
REFERENCES
1. Nagoev Z.V. Intellektika, ili Myshleniye v zhivykh i iskusstvennykh sistemakh [Intellectics, or Thinking in living and artificial systems]. Nalchik: Publishing House of KBSC RAS, 2013. 211 p.
2. Nagoev Z.V. Metody prinyatiya resheniy i upravleniya v nestrukturirovannykh zadachakh na osnove samoorganizuyushchikhsya mul'tiagentnykh rekursivnykh kognitivnykh arkhitektur: diss. ... d-ra tekhn. nauk [Decision making and control methods in unstructured tasks based on self-organizing multi-agent recursive cognitive architectures: Thesis for Dr. Technical Sciences]. Nalchik, 2013. 304 p.
3. Nagoev Z.V., Nagoeva O.V. Modelirovaniye semantiki slovosochetaniy s atributivnymi prilagatel'nymi na osnove mul'tiagentnoy rekursivnoy kognitivnoy arkhitektury [Modeling semantics of word combinations with attribute adjectives based on multi-agent recursive cognitive architecture] // Izvestiya Kabardino-Balkarskogo nauchnogo tsentra RAN [News of the Kabardin-Balkar Scientific Center of the Russian Academy of Sciences]. 2018. No. 3 (83). Pp. 11-20.
4. Nagoev Z.V., Nagoeva O.V., Pshenokova I.A. Formal'naya model' semantiki yestestvenno-yazykovykh vyskazyvaniy na osnove mul'tiagentnykh rekursivnykh kognitivnykh arkhitektur [Formal model of semantics of natural language statements based on multi-agent recursive cognitive architectures] // Izvestiya KBNTS RAN [News of the Kabardin-Balkar Scientific Center of the Russian Academy of Sciences]. Nalchik: KBSC RAS Publishing House, 2017. № 4 (78). Pp. 19-31.
5. Nagoeva O.V. et al. Sistemy ponimaniya rechi i modeli predstavleniya semantiki [Speech Understanding Systems and Semantics Representation Models] // Izvestiya KBNTS RAN [News of KBSC RAS]. Nalchik: KBSC RAS Publishing House, 2014. № 5 (61). P. 64-71.
6. Hafting T., Fyhn M., Bonnevie T., Moser M.-B. and Moser E.I. (2008). Hippocampus-independent phase precession in entorhinal grid cells. Nature 453, 1248-1252.
7. Nagoev Z.V. Multiagent recursive cognitive architecture // Biologically Inspired Cognitive Architectures 2012, Proceedings of the third annual meeting of the BICA Society, in Advances in Intelligent Systems and Computing series, Springer, 2012. Pp. 247-248.
8. Ramachandran, VS The Tell-Tale Brain: A Neuroscientist's Quest for What Makes Us Human. New York: W. W. Norton&Company. P. 357.
9. Solstad T., Boccara C.N., Kropff E., Moser M.-B. and Moser E.I. Representation of geometric borders in the entorhinal cortex. Science, 322, 1865-1868.
10. GUO Renzhong (1998) Spatial Objects and Spatial Relationships, Geo-spatial Information Science, 1:1, 38-42, DOI: 10.1080/10095020.1998.10553282
11. http://www.dissercat.com/content/prostranstvennye-otnosheniya-v-sovremennom-russkom-yazyke-semantika-i-sredstva-vyrazheniya
MULTI-AGENT NEUROCOGNITIVE MODELS OF SEMANTICS OF SPATIAL LOCALIZATION OF EVENTS
Z.V. NAGOEV1, O.V. NAGOEVA2, I.A. PSHENOKOVA2
1 Federal state budgetary scientific establishment "Federal scientific center "Kabardin-Balkar Scientific Center of the Russian Academy of Sciences" 360002, KBR, Nalchik, 2, Balkarov street E-mail: [email protected] 2Institute of Computer Science and Problems of Regional Management -branch of Federal public budgetary scientific establishment "Federal scientific center "Kabardin-Balkar Scientific Center of the Russian Academy of Sciences" 360000, KBR, Nalchik, 37-a, I. Armand St. E-mail: [email protected]
The paper proves that the multi-agent neurocognitive architecture is an effective formalism for describing the semantics of the spatial localization of events. It is shown that locative software agents that describe the spatial location of objects and events, forming homogeneous connections, form the so-called field locations, describing a holistic view of the intellectual agent of the environment.
Keywords: neurocognitive model, semantics, multiagent systems, localization, cognitive architecture
Работа поступила 03.04.2019 г.
