CC BY
3
Нелинейная
^^^^^^^^ динамика и нейронаука
Известия высших учебных заведений. Прикладная нелинейная динамика. 2024. Т. 32, № 5 Izvestiya Vysshikh Uchebnykh Zavedeniy. Applied Nonlinear Dynamics. 2024;32(5)
Научная статья УДК 57.024
DOI: 10.18500/0869-6632-003107 EDN: BUSCAO
Версия биоморфной системы навигации
*
Ю.А. Малышев1И, В.Г.Яхно1'2
1 Национальный исследовательский Нижегородский государственный университет им. Н. И. Лобачевского, Россия 2 Федеральный исследовательский центр Институт прикладной физики им. А. В. Гапонова-Грехова РАН, Нижний Новгород, Россия E-mail: [email protected], [email protected] Поступила в редакцию 7.11.2023, принята к публикации 13.02.2024, опубликована онлайн 27.05.2024, опубликована 30.09.2024
Аннотация. Цель настоящей работы состоит в создании и изучении динамики функционирования биорелевантной системы визуальной навигации. Методы. В работе используются системы одновременной навигации и составления карты RatSLAM и Orb-SLAM. RatSLAM является биорелевантной моделью визуальной навигации в гиппокампе грызунов. Orb-SLAM представляет собой систему одновременной навигации и составления карты, работающую по принципу поиска и отслеживания изменения положения особых точек на изображении. Результаты. В статье представлена версия модифицированной системы визуальной навигации. Система состоит из модуля визуальной одометрии на основе системы Orb-SLAM, а также модуля составления карты и замыкания циклов на основе системы RatSLAM. Это позволяет сочетать точность локализации систем, работающих по принципу отслеживания особых точек на изображении, и нейронную фильтрацию биорелевантных систем. С помощью построенной системы были получены оценки местоположения на публичных и новых наборах данных. Заключение. Построенная система визуальной навигации дает оценку местоположения субъекта (видеокамеры) в пространстве, хорошо согласующуюся с истинными данными о местоположении.
Ключевые слова: системы одновременной локализации и картирования, интеграция пути, ориентиры, нейронные сети.
Благодарности. Работа профинансирована Министерством науки и высшего образования РФ в рамках государственного задания ИПФ РАН, проект № FFUF-2024-0037.
Для цитирования: Малышев Ю. А., Яхно В. Г. Версия биоморфной системы навигации // Известия вузов. ПНД. 2024. T. 32, № 5. С. 606-624. DOI: 10.18500/0869-6632-003107. EDN: BUSCAO
Статья опубликована на условиях Creative Commons Attribution License (CC-BY 4.0).
* Работа публикуется по материалам доклада, сделанного на конференции «Нелинейная динамика в когнитивных исследованиях — 2023».
Article
DOI: 10.18500/0869-6632-003107
Biomorphic navigation system version*
Y.A. Malichevim, V.G. Yakhno1'2
1National Research Lobachevsky State University of Nizhny Novgorod, Russia 2Federal Research Center A. V. Gaponov-Grekhov Institute of Applied Physics of the RAS, Nizhny Novgorod, Russia E-mail: El [email protected], [email protected] Received 7.11.2023, accepted 13.02.2024, available online 27.05.2024, published 30.09.2024
Abstract. The purpose of this work is to create and study the dynamics of the functioning of a biorelevant visual navigation system. Methods. The work uses simultaneous navigation and mapping systems RatSLAM and Orb-SLAM. The RatSLAM system is a biorelevant model of visual navigation in the rodent hippocampus. The Orb-SLAM system is a simultaneous navigation and mapping system that works on the principle of searching and tracking changes in the position of key points in the image. Results. The article presents a version of a modified visual navigation system. The system consists of a visual odometry module based on the Orb-SLAM system, as well as a mapping and loop closure module based on the RatSLAM system. This allows you to combine the localization accuracy of systems operating on the principle of tracking key points in the image and neural filtering of biorelevant systems. Using the constructed system, location estimates were obtained on public and new data sets. Conclusion. The constructed visual navigation system determines the location of the subject (video camera) in space, which is in good agreement with the ground truth location data.
Keywords: simultaneous localization and mapping systems, path integration, landmarks, neural networks.
Acknowledgements. The study has been supported in the frames of the Governmental Project of the Institute of Applied Physics RAS (Project #FFUF-2024-0037).
For citation: Malichev YA, Yakhno VG. Biomorphic navigation system version. Izvestiya VUZ. Applied Nonlinear Dynamics. 2024;32(5):606-624. DOI: 10.18500/0869-6632-003107
This is an open access article distributed under the terms of Creative Commons Attribution License (CC-BY 4.0).
Введение
Способность ориентироваться в пространстве и определять положение вещей важна для выживания людей и животных. В последние десятилетия исследования в области пространственного восприятия особенно успешны и становятся предметом интереса нейробиологии [1-10]. Данные исследования позволили понять некоторые механизмы, используемые животными в процессе навигации, и определили набор типов клеток, ответственных за обработку пространственной информации. Это позволяет приблизиться к пониманию функционирования нейронных сетей, лежащих в основе этой фундаментальной когнитивной способности.
Для изучения механизмов работы навигации в нейронных системах и проверки гипотез об их функционировании представляется разумным создание вычислительных моделей. Подобные модели существуют и называются биоморфными моделями систем навигации [11]. Данные модели принимают на вход те же данные, которые доступны биологическим системам навигации, а на выходе дают оценку положения субъекта в пространстве относительно других объектов. Выходные данные этих систем возможно изучать статистическими методами, получая метрики качества работы систем для их сравнения. Разработке одной из версий подобной системы и настройке режимов её работы посвящена данная работа.
Визуальная навигация в биологических системах. Эдвард Толман выдвинул и доказал гипотезу о том, что у животных есть так называемая когнитивная карта — ментальная картина окружающей среды, несущая информацию о нахождении различных ключевых ориентиров
*The paper presents materials of a talk given at the conference "Nonlinear dynamics in cognitive research — 2023".
и их соотношении друг с другом. Эта картина поддерживает ориентацию в сложной изменяющейся обстановке [1]. Кроме того, было показано, что животные при определении местоположения полагаются на вычисление пройденного расстояния. Таким образом, животные могут двигаться между двух локаций в отсутствии информации об окружающей среде, например, в темноте, по мере того как они интегрируют свои внутренние сигналы об изменении местоположения [2]. Примерами таких сигналов являются сигналы вестибулярной системы, отслеживающей движения, а также проприоцепция (ощущение собственной позы в пространстве).
У животных есть несколько навигационных стратегий. Взаимодействие этих стратегий позволяет уменьшить ошибку локализации и позволяет использовать новые возможности. Многие животные могут определять местоположение при помощи интеграции пути [3], при которой животное производит непрерывный мониторинг своего текущего направления и расстояния от некоторой контрольной точки по мере удаления от неё. Зная свое текущее местоположение, животное может определять относительные положения других мест, координаты интеграции пути которых ему известны с точностью, пропорциональной той, с которой он оценивает свое положение с помощью интеграции пути. Кроме того, известно, что в пределах знакомой местности неизбежную ошибку, связанную с интеграцией пути, можно уменьшить за счет информации, полученной при распознавании ориентиров. Etienne et al [4] сообщили о первых поведенческих доказательствах этой гипотезы, показав, что хомяки используют визуальные ориентиры для сброса ошибок своего внутреннего интегратора пути.
Важным аспектом исследования является понимание биологических основ, элементов системы. Основными физиологическими областями познания окружающей среды и навигации в мозге является гиппокамп и его окружение [12-14]. Джон О'Киф в серии экспериментов со свободно двигающимися грызунами, во время которых проводилась внеклеточная регистрация активности, обнаружил, что активность некоторых клеток областей Са1 и Са3 гиппокампа была почти точно предсказана пространственным положением животных. Данные нейроны были названы клетками места [5].
Клетки места обычно имеют низкую активность, но сильно увеличивают ее, когда животное находится в области пространства, в котором находится область активации нейрона. Различные клетки места чувствительны к разным областям окружающего пространства, так что в любом месте активна только небольшая группа таких клеток, выполняя таким образом точное кодирование местоположения животного. Более того, на популяционном уровне клетки места предоставляют своего рода «карту» среды, подобную когнитивной карте, предложенной Толманом [1]. Для одной локации активация нейронов места постоянна во времени, что позволяет основным ориентирам оставаться постоянными. Однако в другой области нейроны места могут изменять место своей активности или прекращать активность вообще. Этот процесс назван ремаппингом. Таким образом, для любой области нейрон места будет иметь определенную репрезентацию пространства. Тем не менее на больших пространствах нейрон места может кодировать несколько пространственных областей [15]. Нейроны места способны полагаться на информацию, полученную при интеграции пути. Кроме того, нейроны места также играют роль и в эпизодической памяти [16].
Клетки направления головы были вторым классом пространственно реагирующих нейронов, обнаруженных у грызунов. Об этих нейронах впервые сообщил Ранк [8], который был одним из первых нейробиологов, успешно записавших отдельные нейроны из мозга свободно двигающихся животных. Мотивированный недавним открытием О'Кифа клеток места в гиппокампе он исследовал части мозга, афферентные к гиппокампу, и обнаружил в постсубикулуме (также называемом дорсальным пресубикулумом) преобладание нейронов, чье возбуждение заметно усиливалось, когда животное поворачивалось лицом в определенном направлении. В 1984 году он опубликовал реферат с сообщением об их открытии и поставил перед своим аспирантом Таубе задачу охарактеризовать эти нейроны [6]. В дальнейшем Таубе и его коллеги проследили связи постсубикулярных нейронов направления головы и обнаружили широкую и сложную схему,
включающую как низкоуровневые структуры ствола мозга, так и высокоуровневые корковые структуры [7].
Каждая клетка направления головы имеет свое собственное предпочтительное направление активации, и вся популяция вместе охватывает все 360 градусов горизонтального пространства [7]. Примечательной особенностью системы является тот факт, что сигнал нейронов имеет одну из самых резких кривых настройки среди нейронов мозга и очень когерентен, то есть активация нейронов в любой точке сети согласована с тем, в какую сторону обращено животное в данный момент времени. Любые манипуляции с окружающей средой или самим животным, искажающие обработку направления, затрагивают все клетки вместе, и не получается изменить направление активации одной клетки без изменения направления активации всех остальных. Такая высокая степень согласованности привела к предположению, что сеть имеет взаимосвязи, гарантирующие, что каждая клетка управляется не только входящими сенсорными сигналами, но и активностью других нейронов направления головы в сети. Этот тип сети получил название «сеть с непрерывным кольцевым аттрактором» [8]. Такая сеть обеспечивает возможность обновления сигнала при повороте головы животного в другую сторону — для этого нужен только механизм, который связывает поворот в определенную сторону со сдвигом активности аттракторной сети на определенный угол [8].
Мей-Бритт и Эдвард Мозеры в 2005 году открыли ещё один вид нейронов, которые используются в процессе обработки пространственной информации — решетчатые нейроны [9]. Подобно нейронам места, этот тип нейронов активировался при нахождении в определенной области пространства. Однако данные клетки активировались на всей площади повторяющимся треугольным рисунком по принципу «замощения». На основе регулярного и повторяющегося паттерна активации эти нейроны получили свое название [9]. Решетчатые нейроны считаются одними из самых многочисленных клеток в поверхностных слоях средней энторинальной коры, хотя они встречаются и в более глубоких слоях. Решетчатый нейрон может быть описан тремя координатами: периодом (расстоянием между соседствующими полями активации), ориентацией (по отношению к некоторому опорному направлению) и фазой (двухмерным смещением осей решетки к внешней базовой точке отчета). Более того, решетчатые нейроны анатомически организованы в модули, которые имеют схожий период и ориентацию, но их фазы смещены на разные значения. Фаза активации сигнала такого нейрона может меняться в зависимости от того, в какой среде оказывается животное, но, как с нейронами направления головы, они могут активироваться во всех средах [10]. Сейчас известно, что с наибольшей вероятностью решетчатые нейроны являются субстратом для интеграции пути и влияют на активность нейронов места.
Таким образом, известны различные биологические модули, выполняющие функции, связанные с навигацией, но конкретный механизм обработки информации до сих пор плохо изучен. Гиппокамп может интегрировать путь и направлять животных к цели по неизвестному маршруту. Как гиппокамп выполняет эти расчеты, до сих пор неясно [17-19]. Текущие исследования в области нейробиологии сосредоточены на деталях механизма передачи информации от решетчатых клеток к клеткам места, но не рассматривают работу всей системы навигации в совокупности [20-24]. Однако интерес представляет также и динамика всей системы. Для её изучения на основе описанных биологических фактов представляется разумным создать функциональную модель биологической системы навигации.
1. Техническая реализация системы визуальной навигации
В первую очередь отметим весьма перспективные универсальные модели, предложенные В. Д. Цукеманом [25-29]. В них для описания операций навигации в различных пространствах используются реляционные нейроноподобные сети с четным циклическим торможением. Однако
для оптимизации выполняемой на данном этапе разработки и более наглядного сопоставления с тестовыми результатами ранее разработанных технических систем [11,30] в описываемой здесь разработке был выбран подход, получивший название система одновременной локализации и картирования (SLAM). Данные технические системы, аналогичные системам визуальной навигации в живых прототипах и работающие на основе обработки изображений, быстро развиваются в последние годы. В основе большинства подходов лежит обнаружение обычных визуальных признаков, таких как SIFT или SURF, извлеченных из монокулярных или стереоизображений с относительно высоким разрешением [30]. Среди данных систем существуют и более биологически релевантные системы, например, RatSLAM [11] — альтернативная система SLAM, основанная на нейронных процессах, лежащих в основе навигации в мозге грызунов. Нейронная фильтрация системы, которая строит гипотезы о локализации путем накопления сенсорных данных, позволяет ей функционировать даже при неоднозначности их восприятия.
1.1. Система RatSLAM. Система состоит из трех основных модулей — клеток позы, клеток локального вида и карты опыта, также возможно добавление четвертого модуля — визуальной одометрии. Данная система функционирует в составе операционной системы для роботов (Robot operating system — ROS) [31], что позволяет использовать модульную архитектуру программ, облегчает использование многозадачности и позволяет пользоваться стандартизированными методами обмена информацией (темы и сообщения) между программными модулями. Структура системы представлена на рис. 1.
Рис. 1. Структура узлов и сообщений для OpenRatSLAM [32]. Если одометрия уже предоставлена набором данных или роботом, узел Visual Odometry не требуется, как показано пунктирными линиями
Fig. 1. Structure of nodes and messages for OpenRatSLAM [32]. If odometry is already provided by the dataset or robot, the Visual Odometry node is not required, as shown by the dotted lines
1.2. Клетки позы. Клетки позы представляют собой непрерывную аттракторную сеть (CAN) из модулей [33], соединенных возбуждающими и тормозными связями, похожую по своим характеристикам на навигационный нейрон, встречающийся у многих млекопитающих
и называемый решетчатым нейроном [9]. Сеть имеет конфигурацию трехмерной призмы, клетки которой соединены с соседними клетками возбуждающими связями, которые проходят через все границы сети. Сеть представлена на рис. 2.
Координаты массива клеток номинально соответствуют трехмерному положению наземного робота — х, у и 9. Динамика сети клеток в позе такова, что стабильным состоянием является один кластер активированных клеток, называемый пакетом активности или энергетическим пакетом. Центроид этого пакета кодирует наилучшую внутреннюю оценку текущей позы робота. Такое динамическое поведение достигается с помощью локально возбуждающих и глобально тормозящих связей, описываемых распределением е:
£аЪс = е-(а2+Ь2)/к-р*се-с2АГС _ е-(«2+Ь2)А^ е~с2/к™н ,
где кр и ка — константы дисперсии для места и направления соответственно, а а, Ь и с — расстояния между клетками в координатах х, у и 9 соответственно. Константы дисперсии фиксированы в результате настройки и не должны изменяться. Связи охватывают все шесть граней сети клеток позы, как показано более длинными стрелками на рис. 2. Изменение уровня активности клетки АР, вызванное внутренней динамикой, определяется следующим образом:
1 3Ху 1 — 1
АРх',у',0' = ^ ^ ^ Рг,],к£а,Ь,с _ ф, (2)
1=0 ]=0 к=0
где БхУ — длина стороны квадрата (ж, у) плоскости сети клеток позы, — высота сети, а ф — величина глобального торможения.
Информация о собственном движении, предоставляемая одометрическим входом, смещает активность в сети клеток позы для представления движения робота на основе номинального пространственного масштаба для каждой клетки позы. Возбуждающие связи от клеток локального вида обеспечивает механизм для выполнения замыкания цикла.
Рис. 2. Основные модули системы RatSLAM [32] Fig. 2. Basic modules of the RatSLAM system [32]
1.3. Клетки локального вида. Клетки локального вида представляют собой расширяемый массив блоков, каждый из которых соответствует отдельной визуальной сцене в окружающей среде. При появлении новой визуальной сцены создается новая клетка локального вида, которая ассоциируется с пиксельными данными этой сцены. Кроме того, создается возбуждающая связь ß (однократное обучение) между этой клеткой локального вида и центроидом доминирующего пакета активности в сети клеток позы в данный момент времени. Когда система снова видит эту сцену, клетка локального вида активируется и увеличивает активность соответствующей клетки позы через эту возбуждающую связь:
&Px',y',w = ß«,fc Vi, (3)
г
где константа 8 определяет силу влияния визуальных подсказок на оценку позы робота.
Процесс насыщения гарантирует, что каждый визуальный шаблон может вводить активность только в течение короткого периода времени, чтобы избежать ложной повторной локализации, когда робот неподвижен. Активация клеток локального вида, связанных с конкретным визуальным шаблоном, является нелинейным процессом, таким образом, изменение представления о местоположении субъекта в сети клеток позы, вызываемое визуальными шаблонами, также является нелинейным процессом. Если достаточно длинная последовательность знакомых визуальных сцен протекает в правильном порядке, постоянное возбуждение клетки позы приводит к релокализации, то есть доминирующий пакет активности переходит в то же положение, что и при первом показе сцены.
После предварительной обработки изображения, поступающего с камеры (обрезки неинформативных областей кадра, нормализации яркостей, перевода в монохромный вид и сжатия) модуль клеток локального вида сравнивает полученный визуальный шаблон, представляющий текущее изображение с камеры, со всеми ранее изученными шаблонами. Вычисляется мера сходства на основе суммы абсолютных разностей (SAD) между текущим визуальным шаблоном и каждым ранее изученным визуальным шаблоном. Если наименьшая разница меньше порогового значения, то выбирается соответствующий имеющийся шаблон. В противном случае текущий визуальный шаблон добавляется в базу данных шаблонов. Схема работы модуля представлена на рис. 3.
Данная операция является нелинейной, так как имеет пороговое значение. Кроме того, сеть клеток позы имеет конечные размеры, но соединение противоположных краев сети означает, что теоретически сетью может быть отображена бесконечная область пространства, что подразумевает, что некоторые клетки позы отвечают за несколько точек в пространстве.
Карта опыта — это графическая карта, которая оценивает уникальную оценку позы робота путем объединения информации из клеток позы и клеток локального вида. Каждая точка карты опыта может быть определена тремя переменными:
ег = {Р\Vг,рг} , (4)
где Рг и Vг — состояния активности в ячейках позы и локального представления соответственно в момент формирования опыта, а рг — расположение опыта в пространстве карты опыта (пространство, в котором выполняется распределение ошибки по графу). Новый опыт создается, когда текущее состояние активности в ячейках позы Рг и локального вида Vг не совпадает с состоянием, связанным с любым из существующих опытов. Для сравнения того, насколько близко текущие состояния позы и локального вида соответствуют состояниям, связанным с каждым опытом, используется метрика S, задаваемая следующим образом:
Si = мр| Рг - Р |+ Г - V |, (5)
где и ^v — веса соответствующих вкладов кодов позы и локального вида в оценку соответствия. Если min(5) ^ 5max, создается новый опыт, определяемый текущими состояниями
Рис. 3. Блок-схема обработки видеоданных в модуле клеток локального вида Fig. 3. Block diagram of video data processing in a local view cells module
активности ячеек позы и локального вида. Алгоритм распределения ошибки распределяет одомет-рическую ошибку по всему графу, создавая карту окружения объекта, которая может быть легко интерпретирована человеком. Изменение местоположения опыта определяется
Арг = а
Nf
Y^ (vj - pi -■
3=1
Nt
Apij) + ^ (pk - pi - Apki)
k=l
(6)
где а — константа скорости коррекции, равная 0.5, Nf — количество связей от опыта Pi к другим опытам, и Nt — количество связей от других опытов к опыту р^.
1.4. Визуальная одометрия. Модуль визуальной одометрии определяет движение камеры путем сравнения последовательных изображений. Скорость вращения оценивается путем определения относительного горизонтального смещения двух последовательных профилей интенсивности изображения с минимальной средней абсолютной разницей между двумя профилями. Профили интенсивности создаются путем суммирования интенсивностей пикселей изображения в вертикальном направлении. Скорость перемещения оценивается путем умножения минимальной разницы на масштабный коэффициент и ограничивается максимальным значением для предотвращения искажения результатов при больших изменениях освещенности.
1.5. Дополнительный модуль визуальной одометрии. Система RatSLAM имеет в своем составе модуль визуальной одометрии, однако данный модуль имеет низкую точность определения местоположения. Использование данного модуля в качестве источника одометрической информации является одним из вариантов работы системы. При этом также возможно использование внешних источников одометрии, таких как сигнал скорости с колес робота. Таким образом, возможно повысить точность работы системы, применив внешнюю визуальную одометрию, основанную на более современных технологиях.
В качестве источника визуальной одометрии высокой точности может использоваться система ORB-SLAM2, работа которой основана на поиске особых точек на изображении с видеокамеры, отслеживании их перемещения между кадрами видеопотока и построении их предположительного положения и положения субъекта в трехмерном пространстве [30]. В данной системе используются особые точки FAST с дескрипторами ORB [34].
Для вычисления перемещения видеокамеры между кадрами видеопотока применяется алгоритм Bundle Adjustment [35], а для замыкания петель применяется DBoW [36]. Данная система является полноценной системой навигации и построения карты, то есть создает глобальную карту и выполняет замыкание петель (сброс ошибки интегрирования пути при попадании в известные области пространства). Следовательно, для использования данной системы в качестве системы визуальной одометрии достаточно отключить систему замыкания петель и преобразовать (произвести дифференцирование по времени) выходные данные системы ORB-SLAM.
Таким образом, в модифицированной системе визуальную одометрию определяет блок, представляющий собой систему ORB-SLAM, а составление карты местности (в виде визуальных шаблонов, соответствующих определенным точкам пространства) и замыкание петель выполняет система RatSLAM, что должно позволить совместить метрическую точность ORB-SLAM и нейронную обработку RatSLAM.
2. Тестирование разработанной системы
Результатом работы алгоритма SLAM является предполагаемая траектория камеры вместе с оценкой полученной карты. Несмотря на то, что оценка качества полученной карты возможна, получение точных карт пространства проблематично из-за влияния различных неконтролируемых факторов. Например, алгоритмы, работающие с ключевыми точками на изображении, составляют карту размещения в пространстве ключевых точек, однако нахождение реальных точек, соответствующих особым точкам карты, может быть затруднительно. Поэтому анализ основывается в основном на качестве предполагаемой траектории, полученной из последовательности изображений RGB. Для оценки мы предполагаем, что выход алгоритма представляет собой последовательность положений из предполагаемой траектории Р\,...., Рп £ SE и из реальной траектории Q\,....,Qn £ SE.
2.1. Абсолютная ошибка траектории (ATE). Абсолютная ошибка траектории (ATE — Absolute Trajectory Error) оценивается путем сравнения абсолютных расстояний между расчетной и истинной траекторией. Поскольку обе эти траектории могут быть заданы в произвольных системах координат, для начала их необходимо выровнять. Это делается в закрытой форме при помощи метода Хорна [37], который определяет преобразование твердого тела S, соответствующее решению методом наименьших квадратов, которое отображает предполагаемую траекторию Р\ : п на реальную траекторию Q1 : п. Абсолютную ошибку траектории на временном шаге г можно рассчитать как
Ft = Q-~1SPl. (7)
Оценивая среднеквадратичную ошибку (ЯМ8Е) по всем временным показателям компонентов перевода, получаем
/ 1 п \ 1/2
ЯМБЕ (^1:„) = ( ||1;гап8(Я)||21 . (8)
2.2. Относительная ошибка положения (RPE). Относительная ошибка положения (RPE — Relative Position Error) измеряет локальную точность траектории за фиксированный интервал времени At. Таким образом, относительная погрешность положения соответствует дрейфу траектории, что полезно для оценки систем визуальной одометрии. Мы определяем относительную ошибку позы на временном шаге г в качестве
Ег = {Я-1Яг+А)~1{Р-1Рг+А)~1- (9)
Из последовательности п поз камеры таким образом получается т = п — At (где At — количество кадров) отдельных относительных значений ошибки позы внутри последовательности. На основе этих значений вычисляется среднеквадратичная ошибка (RMSE) по всем временным индексам компонента перемещения как
/ 1 т \ 1/2
RMSE(Ei.,n, А) = ( - ^ ||trans(Si )||2J , (10)
где trans (Ei) относится к компоненту перемещения относительной ошибки позы Е^. Возможно оценивать среднюю ошибку, поскольку она более устойчива к выбросам. Некоторые используют медиану вместо среднего, что приписывает выбросам еще меньшее влияние. Для систем визуальной одометрии, которые соответствуют последовательным кадрам, параметр времени At = 1, что является интуитивным выбором; RMSE (Е\:п) в таком случае определяет дрейф за кадр. Для систем, которые используют более одного предыдущего кадра, большие значения A также могут быть уместными. Поэтому имеет смысл усреднять по всем возможным интервалам времени At, то есть вычислить
1 п
RMSE (#!:„) = -J^RMSE (#!:„, A). (11)
п A=1
RPE можно использовать для оценки глобальной ошибки траектории путем усреднения по всем возможным интервалам времени. RPE оценивает как поступательные, так и вращательные ошибки, в то время как ATE оценивает только поступательные ошибки. Таким образом, метрика RPE дает нам возможность объединить вращательные и поступательные ошибки в одну меру. Однако ошибки вращения также косвенно фиксируются ATE, поскольку они проявляются в неправильных переносах. С практической точки зрения ATE имеет интуитивно понятную визуализацию, облегчающую визуальный осмотр. Тем не менее эти два показателя сильно коррелированы.
Поскольку в исследуемой системе используются исключительно монокулярные (использующие одну камеру) алгоритмы, определение точного масштаба карты без дополнительной информации невозможно. Таким образом, вычисление ошибки масштаба невозможно, и все метрики будут получены для нормированного масштаба карты.
2.3. Используемые для тестирования наборы данных. Для тестирования используются следующие наборы данных:
1) KITTI Dataset [38];
2) последовательности НН (видеопоток, снятый авторами).
Набор данных KITTI представляет собой последовательности изображений, полученных сте-реокамерой (в данной работе используются изображения только с одного объектива), размещенной на автомобиле, поэтому все последовательности сняты вне помещений. Камеры откалиброваны, имеется точная информация о положениях кадров, полученная с помощью LiDAR и GPS датчика. Никакая другая информация не использовалась. Все последовательности сняты со скоростью 10 FPS. Для тестирования были взяты последовательности под номерами 0, 2 [38].
2.4. Запись набора данных «Последовательности НН». Работа системы также проверена на новых тестовых последовательностях, записанных в Нижнем Новгороде с камеры смартфона, установленного за лобовым стеклом автомобиля. Полученные изображения имеют размер 1280x960 точек, в течение последовательностей происходит несколько замыканий петель.
Для создания набора данных для тестирования систем визуальной навигации необходимо, чтобы изображения из данного набора были достаточно высокого разрешения, а также чтобы в поле зрения камеры не было объектов, мешающих обзору пространства (при размещении за лобовым стеклом автомобиля — бликов на стекле, деталей конструкции автомобиля и т. д.). Кроме этого, необходимо также выполнение требований, специфичных для систем визуальной навигации.
Для возможности проведения оценки точности работы системы необходимо записывать истинную траекторию движения. Для данной системы возможно использование сигнала с GPS/ГЛОНАСС, поскольку погрешность получаемого от них сигнала о местоположении меньше погрешности определения местоположения данной системы. Кроме того, поскольку в составе системы присутствует модуль, работающий с ключевыми точками, получаемыми из изображений, необходимо было дополнительно выполнить устранение дисторсии изображений для правильной работы данного модуля. Для устранения дисторсии необходимо знать параметры дисторсии камеры, то есть необходимо было произвести калибровку камеры.
Используемый модуль визуальной одометрии, работающий с ключевыми точками, получаемыми из изображений, не позволяет применять камеры с автоматической настройкой фокуса. Таким образом, изображения записывались без автоматической настройки фокуса.
Поскольку в данной системе ориентирами на карте маршрута являются визуальные шаблоны, формируемые непосредственно из пиксельных данных изображения, желательно иметь наибольшую вариабельность изображения в течение последовательности: разный тип застройки, разный тип улиц и т. д.
Таким образом, возможно использование камеры смартфона при условии её предварительной калибровки, а также отключения функции автоматической настройки фокусного расстояния и параллельной записи местоположения, определяемого через GPS. Данные требования были выполнены при использовании открытых программных продуктов Android camera calibration tool и Android dataset recorder, созданных Robot Perception and Navigation Group, University of Delaware. Данные программы используются для калибровки камеры и записи набора данных соответственно. Записанный набор данных далее переводился в формат сообщений ROS (Robot Operating System).
3. Результаты настройки и их обсуждение
3.1. Система визуальной навигации. В качестве основной системы выбрана реализация системы ИаЗЬАМ в библиотеке ОрепЯа18ЬАМ [32]. Данная система была собрана и протестирована на наборе данных от разработчиков системы, а также на тестовых наборах данных. Были подтверждены корректное отображение положения камеры и работа системы замыкания петель. В ходе работы были добавлены возможность работы системы Иа^ЬАМ с изображениями с битовым форматом ^Ъ8, вывод траектории после окончания работы, вычисление и вывод сообщения одометрии в ОЯБ-8ЬАМ2, а также было доработано средство просмотра визуальных шаблонов и текущего вида. Кроме того, в систему ОИБ-8ЬАМ2 была добавлена возможность пропуска событий замыкания циклов. Скриншот работы системы приведен на рис. 4
Рис. 4. Скриншот системы OpenRatSLAM [32]. Верхний ряд слева направо: карта, построенная системой; визуализация процессов активации в сети клеток позы; изображение, подаваемое на вход системы. Внизу: вид сверху на испытательный полигон (цвет онлайн)
Fig. 4. Screenshot of the OpenRatSLAM system [32]. Top row from left to right: map built by the system; visualization of activation processes in the network of pose cells; input image. Bottom image is a top view of the test site (color online)
3.2. Метрики работы систем. При проверке работы системы на наборе данных KITTI были получены метрики, представленные в Таблице.
Таблица. Метрики работы систем (м) Table. Model performance metrics (m)
По следовательно сть Метрики Параметры Система
Ratslam Модифицированная система
Max 98.51 42.17
APE Mean 39.81 19.68
Median 35.81 19.90
Kitti-00 Min 0.57 6.03
Max 5.38 8.17
RPE Mean 1.75 2.83
Median 1.58 2.57
Min 0.05 0.17
Рис. 5. Визуализации распределения ошибки работы систем на траектории движения: a — оригинальная система Ratslam, b — модифицированная система (цвет онлайн)
Fig. 5. Visualizations of the error distribution of systems along the motion trajectory: a — original Ratslam system, b — modified system (color online)
Рис. 6. Зависимость средней абсолютной ошибки локализации от веса возбуждающей связи между клеткам локального вида и клетками позы
Fig. 6. Dependence of the average absolute localization error on the weight of the excitatory connection between local view cells and pose cells
Рис. 7. Зависимость средней абсолютной ошибки локализации от веса пространственной дискретности работы системы
Fig. 7. Dependence of the average absolute localization error on the weight of the spatial discreteness of the system operation
На рис. 5 представлены визуализации распределения абсолютной ошибки локализации систем на траектории движения (слева — оригинальная система Ratslam, справа — для модифицированной системы). Кроме того, были построены графики зависимости среднего значения ошибки определения местоположения от силы возбуждающей связи от клеток локального вида, которая определяет порог нелинейного процесса — события замыкания цикла, а также от пространственной дискретности работы системы. Данные графики представлены на рис. 6, 7.
Заключение
В соответствии с поставленной целью были рассмотрены возможные пути создания версии сложной нелинейной системы управления, выполняющей биологически релевантные операции визуальной навигации. Для собранного прототипа были выбраны необходимые метрики, оценивающие точность работы этой системы. Ориентируясь на эти метрики, была проведена настройка некоторых параметров системы-прототипа, позволившая оптимизировать её функционирование.
В полученной системе реализованы навигационные стратегии, подобные используемым в биологических протопах. В сети клеток позы, функционально подобной сетям решетчатых нейронов в мозге млекопитающих, выполняется интегрирование пути, позволяющее определять местоположение в незнакомых областях пространства, что согласуется с экспериментами [3]. В процессе интегрирования пути накапливается ошибка интегрирования, которая, как и в биологических системах, сбрасывается при попадании в знакомые области пространства, при узнавании знакомых мест [4].
В полученной системе подобное узнавание происходит при совпадении видимого изображения и знакомого визуального шаблона. Однако методы, применяемые для сравнения изображений, слабо релевантны предполагаемым биологическим аналогам. Биологические методы имеют более высокую устойчивость при изменении освещенности, угла обзора и на длительных временных интервалах. Поэтому в дальнейшем планируется применение более биологически релевантных методов [39]. Кроме того, получаемая карта одинаково подробна на часто и редко посещаемых областях, что не соответствует современным представлениям [40]. Поэтому в дальнейшем планируется применение модели пространства, расширяемого с опытом [40]. Также в будущих исследованиях возможно применение методов одометрии, более релевантных биологическим аналогам.
Список литературы
1. Tolman E. C. Cognitive maps in rats and men // Psychological Review. 1948. Vol. 55, no. 4. P. 189-208. DOI: 10.1037/h0061626.
2. McNaughton B. L., Battaglia F.P., Jensen O., Moser E. I., Moser M.-B. Path integration and the neural basis of the "cognitive map" // Nature Reviews Neuroscience. 2006. Vol. 7. P. 663-678. DOI: 10.1038/nrn1932.
3. Mittelstaedt H., Mittelstaedt M.-L. Homing by Path Integration. In: Papi F., Wallraff H. G. (eds) Avian Navigation. Proceedings in Life Sciences. Berlin, Heidelberg: Springer, 1982. P. 290-297. DOI: 10.1007/978-3-642-68616-0_29.
4. Etienne A. S., Maurer R., Boulens V., Levy A., Rowe T. Resetting the path integrator: a basic condition for route-based navigation // Journal of Experimental Biology. 2004. Vol. 207, iss. 9. P. 1491-508. DOI: 10.1242/jeb.00906.
5. O'Keefe J., Dostrovsky J. The hippocampus as a spatial map. Preliminary evidence from unit activity in the freely-moving rat // Brain Research. 1971. Vol. 34, iss. 1. P. 171-175. DOI: 10.1016/0006-8993(71)90358-1.
6. Muller R. U, Ranck J.B. Jr, Taube J. S. Head direction cells: properties and functional significance // Current Opinion in Neurobiology. 1996. Vol. 6, iss. 2. P. 196-206. DOI: 10.1016/s0959-4388(96) 80073-0.
7. Taube J.S. The head direction signal: Origins and sensory-motor integration // Annual Review of Neuroscience. 2007. Vol. 30. P. 181-207. DOI: 10.1146/annurev.neuro.29.051605.112854.
8. Amit D. J. Modeling Brain Function: The World of Attractor Neural Networks. New York, NY: Cambridge University Press, 1989. DOI: 10.1017/CBO9780511623257.
9. Moser E. I., Roudi Y., Witter M. P., Kentros C., Bonhoeffer T., Moser M.-B. Grid cells and cortical representation // Nature Reviews Neuroscience. 2014. Vol. 15. P. 466-481. DOI: 10.1038/nrn3766.
10. Hafting T., Fyhn M., Molden S., Moser M.-B., Moser E. I. Microstructure of a spatial map in the entorhinal cortex // Nature. 2005. Vol. 436. P. 801-806. DOI: 10.1038/nature03721.
11. Milford M.J. Robot Navigation from Nature: Simultaneous Localisation, Mapping, and Path Planning Based on Hippocampal Models. Vol. 41. Springer Tracts in Advanced Robotics. Berlin, Heidelberg: Springer, 2008. 196 p. DOI: 10.1007/978-3-540-77520-1.
12. Eichenbaum H. The role of the hippocampus in navigation is memory // Journal of Neurophysiology.
2017. Vol. 117, no. 4. P. 1785-1796. DOI: 10.1152/jn.00005.2017.
13. Gu Y, Lewallen S., Kinkhabwala A. A., Domnisoru C., Yoon K., Gauthier J.L., Fiete I.R., Tank D.W. A map-like micro-organization of grid cells in the medial entorhinal cortex // Cell.
2018. Vol. 175, iss. 3. P. 736-750. DOI: 10.1016/j.cell.2018.08.066.
14. Poulter S., Hartley T., Lever C. The neurobiology of mammalian navigation // Current Biology.
2018. Vol. 28, iss. 17. P. R1023-R1042. DOI: 10.1016/j.cub.2018.05.050.
15. Park E., Dvorak D., Fenton A. A. Ensemble place codes in hippocampus: CA1, CA3, and dentate gyrus place cells have multiple place fields in large environments // PLoS One. 2011. Vol. 6, iss. 7. P. e22349. DOI: 10.1371/journal.pone.0022349.
16. Goode T.D., Tanaka K. Z., Sahay A., McHugh T.J. An integrated index: Engrams, place cells, and hippocampal memory // Neuron. 2020. Vol. 107, iss. 5. P. 805-820. DOI: 10.1016/j.neuron. 2020.07.011.
17. Epstein R. A., Patai E. Z, Julian J. B., Spiers H. J.The cognitive map in humans: spatial navigation and beyond//Nature Neuroscience. 2017. Vol. 20, iss. 11. P. 1504-1513. DOI: 10.1038/nn.4656.
18. Sarel A., Finkelstein A., Las L., Ulanovsky N. Vectorial representation of spatial goals in the hippocampus of bats // Science. 2017. Vol. 355, iss. 6321. P. 176-180. DOI: 10.1126/science. aak9589.
19. Savelli F., Knierim J. J.Origin and role of path integration in the cognitive representations of the hippocampus: computational insights into open questions // Journal of Experimental Biology.
2019. Vol. 222, iss. 1. P. jeb188912. DOI: 10.1242/jeb.188912.
20. Rolls E. T., Stringer S. M., Elliot T. Entorhinal cortex grid cells can map to hippocampal place cells by competitive learning // Network. 2006. Vol. 17, iss. 4. P. 447-65. DOI: 10.1080/095489 80601064846.
21. Si B., Treves A. The role of competitive learning in the generation of DG fields from EC inputs // Cognitive Neurodynamics. 2009. Vol. 3, iss. 2. P. 177-187. DOI: 10.1007/s11571-009-9079-z.
22. Savelli F., Knierim J. J.Hebbian analysis of the transformation of medial entorhinal grid-cell inputs to hippocampal place fields // Journal of Neurophysiology. 2010. Vol. 103, iss. 6. P. 3167-83. DOI: 10.1152/jn.00932.2009.
23. Danjo T., Toyoizumi T., Fujisawa S. Spatial representations of self and other in the hippocampus // Science. 2018. Vol. 359, iss. 6372. P. 213-218. DOI: 10.1126/science.aao3898.
24. Lian Y, Burkitt A. N. Learning spatiotemporal properties of hippocampal place cells // eNeuro. 2022. Vol. 9, iss. 4. ENEURO.0519-21.2022. DOI: 10.1523/ENEURO.0519-21.2022.
25. Цукерман В. Д., Чешков Г. Н. Основы нелинейной динамики сенсорного восприятия. I. Фазовое кодирование в осцилляторных сетях // Нейрокомпьютеры: разработка, применение. 2002. № 7-8. С. 65-72.
26. Цукерман В. Д. Математическая модель фазового кодирования событий в мозге // Математическая биология и биоинформатика. 2006. Т. 1, № 1. С. 97-107. DOI: 10.17537/2006.1.97.
27. Цукерман В. Д., Еременко З. С., Каримова О. В., Кулаков С. В., Сазыкин А. А. Когнитивная нейродинамика двух стратегий навигационного поведения организмов // Известия вузов. ПНД. 2011. Т. 19, № 6. С. 96-108. DOI: 10.18500/0869-6632-2011-19-6-96-108.
28. Цукерман В. Д., Харыбина З. С., Кулаков С. В. Математическая модель пространственного кодирования в гиппокампальной формации. II. Нейродинамические корреляты ментальных траекторий и проблема принятия решений // Математическая биология и биоинформатика. 2014. Т. 9, № 1. С. 216-256. DOI: 10.17537/2014.9.216.
29. Цукерман В. Д. К творческому познанию креативные начала реляционных нейронных сетей с четным циклическим торможением // Труды VII Всероссийской конференции. Нелинейная
динамика в когнитивных исследованиях 2021. Нижний Новгород, 20-24 сентября 2021. Нижний Новгород: ИПФРАН, 2021. С. 186-189.
30. Mur-Artal R., Montiel J.M. M, Tardos J. D. ORB-SLAM: A Versatile and Accurate Monocular SLAM System. IEEE Transactions on Robotics. 2015. Vol. 31, iss. 5. P. 1147-1163. DOI: 10.1109/ TRO.2015.2463671.
31. Quigley M., Conley K., Gerkey B., Faust J., Foote T., Leibs J., Wheeler R., Ng A. Y ROS: an open-source Robot Operating System // ICRA Workshop on Open Source Software. 2009. Vol. 3, iss. 3.2. P. 5.
32. Ball D., Heath S., Wiles J., Wyeth G., Corke P., Milford M. OpenRatSLAM: an open source brain-based SLAM system // Autonomous Robots. 2013. Vol. 34. P. 149-176. DOI: 10.1007/s10514-012-9317-9.
33. Samsonovich A., McNaughton B.L. Path integration and cognitive mapping in a continuous attractor neural network model // The Journal of Neuroscience. 1997. Vol. 17, iss. 15. P. 59005920. DOI: 10.1523/jneurosci.17-15-05900.1997.
34. Rublee E., Rabaud V., Konolige K., Bradski G. R. ORB: An efficient alternative to SIFT or SURF. In: IEEE International Conference on Computer Vision, ICCV 2011. Barcelona, Spain, November 6-13, 2011. P. 2564-2571.
35. Triggs B., McLauchlan P. F., Hartley R. I., Fitzgibbon A. W. Bundle Adjustment — A Modern Synthesis. In: Triggs, B., Zisserman, A., Szeliski, R. (eds) Vision Algorithms: Theory and Practice. IWVA 1999. Lecture Notes in Computer Science, vol. 1883. Berlin, Heidelberg: Springer, 2000. P. 298-372. DOI: 10.1007/3-540-44480-7_21.
36. Galvez-Lopez D., Tardos J. D. Bags of Binary Words for Fast Place Recognition in Image Sequences // IEEE Transactions on Robotics. 2012. Vol. 28, iss. 5. P. 1188-1197. DOI: 10.1109/ TRO.2012.2197158.
37. Horn B. K. P. Closed-form solution of absolute orientation using unit quaternions // Journal of the Optical Society of America A. 1987. Vol. 4, iss. 4. P. 629-641. DOI: 10.1364/josaa.4.000629.
38. GeigerA., LenzP., StillerC., and UrtasunR. Vision meets robotics: the KITTI dataset // The International Journal of Robotics Research. 2013. Vol. 32, iss. 11. P. 1231-1237. DOI: 10.1177/ 0278364913491297.
39. Yu F., Wu Y, Ma S, Xu M, Li H, Qu H, Song C, Wang T, Zhao R, Shi L. Brain-inspired multimodal hybrid neural network for robot place recognition // Science RoboticS. 2023. Vol. 8, iss. 78. DOI: 10.1126/scirobotics.abm6996.
40. Zhang H., Rich P. D., Lee A. K., Sharpee T. O. Hippocampal spatial representations exhibit a hyperbolic geometry that expands with experience // Nature Neuroscience. 2023. Vol. 26, iss. 1. P. 131-139. DOI: 10.1038/s41593-022-01212-4.
References
1. Tolman EC. Cognitive maps in rats and men. Psychological Review. 1948;55(4):189-208. DOI: 10.1037/h0061626.
2. McNaughton BL, Battaglia FP, Jensen O, Moser EI, Moser M-B. Path integration and the neural basis of the "cognitive map". Nature Reviews Neuroscience. 2006;7:663-678. DOI: 10.1038/ nrn1932.
3. Mittelstaedt H, Mittelstaedt M-L. Homing by Path Integration. In: Papi F, Wallraff HG, editors. Avian Navigation. Proceedings in Life Sciences. Berlin, Heidelberg: Springer; 1982. P. 290-297. DOI: 10.1007/978-3-642-68616-0_29.
4. Etienne AS, Maurer R, Boulens V, Levy A, Rowe T. Resetting the path integrator: a basic
condition for route-based navigation. Journal of Experimental Biology. 2004;207(9):1491-508. DOI: 10.1242/jeb.00906.
5. O'Keefe J, Dostrovsky J. The hippocampus as a spatial map. Preliminary evidence from unit activity in the freely-moving rat. Brain Research. 1971;34(1):171-175. DOI: 10.1016/0006-8993(71)90358-1.
6. Muller RU, Ranck JB Jr, Taube JS. Head direction cells: properties and functional significance. Current Opinion in Neurobiology. 1996;6(2):196-206. DOI: 10.1016/s0959-4388(96)80073-0.
7. Taube JS. The head direction signal: Origins and sensory-motor integration. Annual Review of Neuroscience. 2007;30:181-207. DOI: 10.1146/annurev.neuro.29.051605.112854.
8. Amit DJ. Modeling Brain Function: The World of Attractor Neural Networks. New York, NY: Cambridge University Press; 1989. DOI: 10.1017/cbo9780511623257.004.
9. Moser E, Roudi Y, Witter MP, Kentros C, Bonhoeffer T, Moser M-B. Grid cells and cortical representation. Nature Reviews Neuroscience. 2014;15:466-481. DOI: 10.1038/nrn3766
10. Hafting T, Fyhn M, Molden S, Moser MB, Moser EI. Microstructure of a spatial map in the entorhinal cortex. Nature. 2005;436:801-806. DOI: 10.1038/nature03721.
11. Milford MJ. Robot Navigation from Nature: Simultaneous Localisation, Mapping, and Path Planning Based on Hippocampal Models. Vol. 41. Springer Tracts in Advanced Robotics. Berlin, Heidelberg: Springer; 2008. 196 p. DOI: 10.1007/978-3-540-77520-1.
12. Eichenbaum H. The role of the hippocampus in navigation is memory. Journal of Neurophysiology. 2017;117(4):1785-1796. DOI: 10.1152/jn.00005.2017.
13. Gu Y, Lewallen S., Kinkhabwala AA, Domnisoru C, Yoon K, Gauthier JL, Fiete IR, Tank DW. A map-like micro-organization of grid cells in the medial entorhinal cortex. Cell. 2018;175(3):736-750. DOI: 10.1016/j.cell.2018.08.066.
14. Poulter S, Hartley T, Lever C. The neurobiology of mammalian navigation. Current Biology. 2018;28(17):R1023-R1042. DOI: 10.1016/j.cub.2018.05.050.
15. Park E, Dvorak D, Fenton AA. Ensemble place codes in hippocampus: CA1, CA3, and dentate gyrus place cells have multiple place fields in large environments. PLoS One. 2011;6(7):e22349. DOI: 10.1371/journal.pone.0022349.
16. Goode TD, Tanaka KZ, Sahay A, McHugh TJ. An integrated index: Engrams, place cells, and hippocampal memory. Neuron. 2020;107(5):805-820. DOI: 10.1016/j.neuron.2020.07.011.
17. Epstein RA, Patai EZ, Julian JB, Spiers HJ. The cognitive map in humans: spatial navigation and beyond. Nature Neuroscience. 2017;20(11):1504-1513. DOI: 10.1038/nn.4656.
18. Sarel A, Finkelstein A, Las L, Ulanovsky N. Vectorial representation of spatial goals in the hippocampus ofbats. Science. 2017;355(6321):176-180. DOI: 10.1126/science.aak9589.
19. Savelli F, Knierim JJ. Origin and role of path integration in the cognitive representations of the hippocampus: computational insights into open questions. Journal of Experimental Biology. 2019;222(1):jeb188912. DOI: 10.1242/jeb.188912.
20. Rolls ET, Stringer SM, Elliot T. Entorhinal cortex grid cells can map to hippocampal place cells by competitive learning. Network. 2006;17(4):447-65. DOI: 10.1080/09548980601064846.
21. Si B, Treves A. The role of competitive learning in the generation of DG fields from EC inputs. Cognitive Neurodynamics. 2009;3(2):177-87. DOI: 10.1007/s11571-009-9079-z.
22. Savelli F, Knierim JJ. Hebbian analysis of the transformation of medial entorhinal grid-cell inputs to hippocampal place fields. Journal of Neurophysiology. 2010;103(6):3167-83. DOI: 10.1152/jn. 00932.2009.
23. Danjo T, Toyoizumi T, Fujisawa S. Spatial representations of self and other in the hippocampus. Science. 2018;359(6372):213-218. DOI: 10.1126/science.aao3898.
24. Lian Y, Burkitt AN. Learning spatiotemporal properties of hippocampal place cells. eNeuro. 2022;9(4):ENEURO.0519-21.2022. DOI: 10.1523/ENEURO.0519-21.2022.
25. Tsukerman VD, Cheshkov GN. Fundamentals of nonlinear dynamics of sensory perception. I. Phase coding in oscillatory networks. Neurocomputers: development, application. 2002;(7-8): 65-72.
26. Tsukerman VD. Mathematical model of phase coding of events in the brain. Mathematical biology and bioinformatics. 2006;1(1):97-107. DOI: 10.17537/2006.1.97.
27. Tsukerman VD, Eremenko ZS, Karimova OV, Kulakov SV, Sazykin AA. Cognitive neurodynamics of two strategies of navigation behavior of organisms. Izvestiya VUZ. Applied Nonlinear Dynamics. 2011;19(6):96-108. DOI: 10.18500/0869-6632-2011-19-6-96-108.
28. Tsukerman VD, Kharybina ZS, Kulakov SV. Mathematical model of spatial encoding in the hippocampal formation. II. Neurodynamic correlates of mental trajectories and the problem of decision making. Mathematical biology and bioinformatics. 2014;9(1):216-256. DOI: 10.17537/ 2014.9.216.
29. Tsukerman VD. Towards creative cognition, the creative principles of relational neural networks with even cyclic inhibition. In: Proceedings of the VII All-Russian Conference. Nonlinear dynamics in cognitive research 2021, Nizhny Novgorod, September 20-24, 2021. Nizhny Novgorod: IPFRAN; 2021. P. 186-189.
30. Mur-Artal R, Montiel JMM, Tardos JD. ORB-SLAM: A Versatile and Accurate Monocular SLAM System. IEEE Transactions on Robotics. 2015;31(5):11471163. DOI: 10.1109/TRO.2015.2463671.
31. Quigley M, Conley K, Gerkey B, Faust J, Foote T, Leibs J, Wheeler R, Ng A. ROS: an open-source Robot Operating System. ICRA Workshop on Open Source Software. 2009;3(3.2):5.
32. Ball D, Heath S, Wiles J, Wyeth G, Corke P, Milford M. OpenRatSLAM: an open source brain-based SLAM system. Autonomous Robots. 2013;34:149-176. DOI: 10.1007/s10514-012-9317-9.
33. Samsonovich A, McNaughton BL. Path integration and cognitive mapping in a continuous attractor neural network model. The Journal of Neuroscience. 1997;17(15):5900-5920. DOI: 10.1523/ jneurosci.17-15-05900.1997.
34. Rublee E, Rabaud V, Konolige K, Bradski GR. ORB: An efficient alternative to SIFT or SURF. In: Proceedings of the 2011 International Conference on Computer Vision, ICCV 2011. Barcelona, Spain, November 6-13, 2011. P. 564-2571.
35. Triggs B, McLauchlan PF, Hartley RI, Fitzgibbon AW. Bundle Adjustment — A Modern Synthesis. In: Triggs, B., Zisserman, A., Szeliski, R. (eds) Vision Algorithms: Theory and Practice. IWVA 1999. Lecture Notes in Computer Science, vol. 1883. Berlin, Heidelberg: Springer; 2000. P. 298372. DOI: 10.1007/3-540-44480-7_21.
36. Galvez-Lopez D, Tardos JD. Bags of Binary Words for Fast Place Recognition in Image Sequences. IEEE Transactions on Robotics. 2012;28(5). P. 1188-1197. DOI: 10.1109/TRO.2012.2197158.
37. Horn BK. Closed-form solution of absolute orientation using unit quaternions. Journal of the Optical Society of America A. 1987;4(4):629-641. DOI: 10.1364/josaa.4.000629.
38. Geiger A, Lenz P, Stiller C, and Urtasun R. Vision meets robotics: the KITTI dataset. The International Journal of Robotics Research. 2013;32(11):1231-1237. DOI: 10.1177/02783 64913491297.
39. Yu F, Wu Y, Ma S, Xu M, Li H, Qu H, Song C, Wang T, Zhao R, Shi L. Brain-inspired multimodal hybrid neural network for robot place recognition. Sci Robot. 2023;8(78). DOI: 10.1126/scirobotics. abm6996.
40. Zhang H, Rich PD, Lee AK, Sharpee TO. Hippocampal spatial representations exhibit a hyperbolic geometry that expands with experience. Nature Neuroscience. 2023;26(1):131-139. DOI: 10.1038/s41593-022-01212-4.
Малышев Юрий Александрович — родился в Тольятти (1999). Окончил с отличием факультет электроники и приборостроения Самарского государственного аэрокосмического университета по направлению «Биотехнические системы и технологии» (2021), факультет биологии и биомедицины Нижегородского государственного университета по направлению «Нейробиология» (2023). Научные интересы — нейронаука, математическое моделирование, компьютерное моделирование.
Россия, 603022 Нижний Новгород, пр. Гагарина, 23 Нижегородский государственный университет им. Н. И. Лобачевского E-mail: [email protected]
Яхно Владимир Григорьевич — родился в 1947 году. Доктор физико-математических наук. Заведующий лабораторией в Институте прикладной физики РАН (Нижний Новгород). Научные интересы связаны с исследованием процессов самоорганизации в распределенных неравновесных системах и приложением автоволновых представлений для моделирования процессов обработки сенсорных сигналов, развития компьютерных алгоритмов кодирования сложных изображений (разработка биометрических систем); рассмотрением характерных процессов в модельных системах, имитирующих функционирование живых систем. Имеет более 200 научных публикаций (в том числе 2 монографии и 10 патентов).
Россия, 603022 Нижний Новгород, пр. Гагарина, 23
Нижегородский государственный университет им. Н. И. Лобачевского
Россия, 603950 Нижний Новгород, ул. Ульянова, 46
Институт прикладной физики им. А. В. Гапонова-Грехова РАН
E-mail: [email protected]
ORCID: 0000-0002-4689-472X
AuthorlD (eLibrary.Ru): 18659
