CC BY
1Научная статья УДК 004.896
DOI:10.31854/1813-324X-2024-10-1-97-106
É
Открытый набор данных для тестирования Visual SLAM-алгоритмов при различных погодных условиях
Артур Владимирович Подтихов, a.podtikhov@gmail.com Антон Игоревич Савельев, saveliev@iias.spb.su
Санкт-Петербургский Федеральный исследовательский центр Российской академии наук, Санкт-Петербург, 199178, Российская Федерация
Аннотация: Существующие наборы данных для тестирования SLAM-алгоритмов в открытой местности не подходят для оценки влияния погодных условий на точность локализации. Получить подходящий набор из реального мира трудно из-за длительного периода сбора данных и невозможности исключения динамических факторов среды. Искусственно сгенерированные наборы данных позволяют обойти описанные ограничения, однако на текущий момент исследователи не выделяли тестирование SLAM-алгоритмов при различных погодных условиях как отдельную задачу, несмотря на то, что она является одним из аспектов различия между открытой и закрытой местностями. В данной работе представлен новый открытый набор данных, который состоит из 36 последовательностей движения робота в городской среде или по пересеченной местности, в виде изображений со стереокамеры и истинного положения робота, собранных с частотой 30 Гц. Движение в пределах одной местности происходит по фиксированному маршруту, последовательности отличают только климатические условия, что может позволить корректно оценить влияние погодных явления на точность локализации.
Ключевые слова: SLAM, одновременная локализация и построение карты, набор данных, Air-Sim, погодные условия
Ссылка для цитирования: Подтихов А.В., Савельев А.И. Открытый набор данных для тестирования Visual SLAM-алгоритмов при различных погодных условиях / / Труды учебных заведений связи. 2024. Т. 10. № 1. С. 97-106. DOI:10.31854/1813-324X-2024-10-1-97-106. EDN:MHMJRS
Open Dataset for Testing of Visual SLAM Algorithms under Different Weather Conditions
Artur Podtikhov, a.podtikhov@gmail.com Anton Saveliev, saveliev@iias.spb.su
Saint-Petersburg Federal Research Center of the Russian Academy of Sciences, St. Petersburg, 199178, Russian Federation
Abstract: Existing datasets for testing SLAM algorithms in outdoor environments are not suitable for assessing the influence of weather conditions on localization accuracy. Obtaining a suitable dataset from the real world is difficult due to the long data collection period and the inability to exclude dynamic environmental factors. Artificially generated datasets make it possible to bypass the described limitations, but up to date, researchers have not identified testing SLAM algorithms under different weather conditions as a stand-alone task, despite the fact that it is one of the main aspects of the difference between outdoor and indoor environments. This work presents a new open dataset that
© Подтихов А.В., Савельев А.И., 2024
97
tuzs.sut.ru
consists of 36 sequences of robot movement in an urban environment or rough terrain, in the form of images from a stereo camera and the ground truth position of the robot, collected at a frequency of 30 Hz. Movement within one area occurs along a fixed route; the sequences are distinguished only by whether conditions, which can make it possible to correctly assess the influence of weather phenomena on the accuracy of localization.
Keywords: SLAM, simultaneous localization and mapping, dataset, AirSim, weather conditions
For citation: Podtikhov A., Saveliev A. Open Dataset for Testing of Visual SLAM Algorithms under Different Weather Conditions. Proceedings of Telecommun. Univ. 2024;10(1):97-106. DOI:10.31854/1813-324X-2024-10-1-97-106. EDN:MHMJRS
Введение
Для успешной навигации автономных роботов требуется постоянное точное отслеживание их положения в пространстве. Использовать для решения данной задачи показания одометрии оказалось неэффективным методом, поскольку ошибки одометрии имеют тенденцию накапливаться и расти пропорционально длине пути передвижения робота. Наглядным примером проблем такого подхода может быть колесная одометрия наземного транспортного средства, стандартной схемой которой является использования энкодеров, считывающих угол поворота колес. Она дает хорошие оценки положения при краткосрочных перемещениях, но не пригодна при длительных поездках из-за следующих источников погрешности: изменения или ошибок в измерении радиуса колес, различных размеров колес, ошибок подсчета импульсов от энко-деров, недостаточной частоты обработки показаний сенсоров. Такими же недостатками обладали первые методы оценки положения робота при помощи камер, называемые визуальной одометрией. В работе К.Ф. Олсона и соавторов [1] было показано, что накопление ошибок движения камеры, без использования дополнительных источников информации о местоположении робота, таких как GPS или показаний акселерометра, приводит к сверхлинейному росту ошибок с увеличением дальности передвижения. В связи с этим появился подход одновременной локализации и построения карты (SLAM, аббр. от англ. Simultaneous Localization And Mapping), который отслеживает не только изменения положения робота, но и саму карту местности в виде облака точек, таким образом снижая эффект накопления ошибки. SLAM в какой-то момент отделился от визуальной одометрии, а в последствии перемешался с ним настолько, что на текущий момент визуальная одометрия и SLAM во многих публикациях считаются синонимами.
Visual SLAM - подход к одновременному построению карты и оценке положения робота с использованием камер. Обычно методы Visual SLAM работают с одной или двумя камерами, иногда робот также оснащен дополнительными сенсорами - камерой глубины и гиростабилизатором (IMU, аббр. от англ. Inertial Measurement Unit). Существуют методы работы, как только с одним сенсором, так и с
различными их комбинациями. В небольших закрытых пространствах существующие методы хорошо преуспевают, в тоже время в больших открытых пространствах результаты локализации при помощи камер значительно хуже, это можно видеть в таблице 4 работы Д. Шуберта и соавторов [2]. Такое поведение существующих методов можно объяснить рядом причин.
Во-первых, сам размер карты открытого пространства обычно значительно больше, что приводит к бо'льшим расстояниям, которые необходимо оценивать, и соответственно к бо'льшим ошибкам.
Во-вторых, открытые пространства более динамичны, это означает, что в них могут присутствовать движущиеся объекты, создающие зашумлен-ные точки интереса, а существующие алгоритмы удаления выбросов, такие как RASNAC [3], справляются с небольшим числом движущихся объектов, но в случае, когда бо'льшая часть местности динамична, перестают быть эффективными.
В-третьих, в закрытых пространствах нет погодных изменений, изменений света и влажности поверхности, пространство остается почти неизменным на протяжении всего времени движения робота, тогда как в открытых - могут наблюдаться различные изменения погоды, существенно влияющие на точность локализации.
В то время как существующие наборы данных для тестирования методов SLAM подходят для проверки устойчивости точности локализации при условии наличия больших траекторий и движущихся объектов, влияние погодных условий сложно на них оценить. Для корректной оценки устойчивости локализации методов SLAM к различным погодным условиям необходимо проводить сравнения точности в условиях одинакового маршрута и постоянной местности. Наборы данных, собранные при помощи реального робота, сложно удовлетворить таким критериям. Это означает, что подходящий набор данных может быть собран только в симуляционной среде.
Представленный в данной работе набор данных нацелен на оценку устойчивости локализации при различных погодных условиях. Для этого были собраны маршруты движения робота из симуляцион-ной среды AirSim [4] с использованием монокуляр-
ной и стереокамер в таких погодных условиях, как дождь, туман, пыль, наличие падающих листьев, снегопад. Набор данных был собран при одинаковых траекториях движения автомобиля и в отсутствии динамических объектов, т. е. он может помочь в корректной оценке влияния погодных условиях на методы одновременной локализации и построения карты с помощью камер. Кроме того, да-тасет содержит маршруты робота по двум принципиально различающимся картам: городской среде и гористой местности, отличающимися не только по содержанию, но и наполненностью объектами, создающими регионы интереса для методов SLAM.
Обзор литературы
На текущий момент существует не так много наборов данных для оценки методов SLAM в откры-
той местности. Большинство из них записаны в динамической городской местности и не предоставляют возможность оценки влияния погодных условий на локализацию. Наиболее популярные наборы данных, доступные в них сенсоры и описания можно увидеть в таблице 1. Для общей оценки SLAM-алгоритмов подходит довольно большое количество наборов, однако влияние погодных условий можно пробовать оценить только на наборе Oxford Robotcar Dataset, поскольку он содержит одинаковые маршруты автомобиля, записанные в разные дни. Но из-за наличия большого числа динамических объектов, различающихся для каждой последовательности, корректная оценка влияния именно этого параметра затруднена. При этом аналогичного датасета с одинаковыми траекториями и изменяющимися параметрами среды для не городской открытой местности на данный момент не найдено.
Название, год Местность Сенсоры Длина маршрута Динамические объекты Погодные условия Описание
Oxford Robotcar [5], 2016 Город Тринокулярная стерео-камера 1280x960 16 Гц 3 камеры «рыбий глаз» 1024x1024 11 Гц ЛИДАР GPS 100 поездок по 10 км Есть Солнце, облачность, пасмурность, дождь, снег, день, ночь, сумерки Датасет был записан в центре Оксфорда, один и тот же маршрут автомобиля был повторен 100 раз в течение года
CityScapes [6], 2015 Город Стереокамера 30 Гц GPS 50 городов Есть Весна, лето, осень, различное время суток, хорошие/средние погодные условия, искусственный дождь и искусственный туман Записан в европейских городах; дополнительно изображение имеет разметку областей, содержащих людей, семантическую сегментацию, сегментацию экземпляров и паноптическую сегментацию
KITTI [7], 2013 Город Стереокамера 30 Гц ЛИДАР GPS 22 поездки, суммарно 6 часов Есть Нет (не значительные) Был записан за 4 последовательных дня, в дневное время суток, 11 последовательностей содержат истинные показания одометрии
TUM Monocular Cameras [8], 2016 Город Монокулярная камера 98x79 Широкоугольная камера 148x122 50 траекторий, в среднем по 3 мин Есть (незначительные) Нет Использовалась ручная камера, из 50 траекторий 10 записаны вне помещений, все маршруты небольшой длины, происходят внутри или около учебного кампуса; движение заканчивается там же, где начинается
TUM-Visual-Inertial [2], 2018 Город ЧБ стереокамера 1024x1024 20 Гц IMU - 200 Гц 28 последовательно-стей суммарно 20 км Есть (незначительные) Нет Вне помещения только 8 последовательностей; использовалась ручная камера
Sugar Beets [9], 2016 Поле RGBD-камера, направленная в сторону земли NIR-камера, направленная в сторону земли ЛИДАР GPS 90 последовательно-стей Нет Есть (незначительные) Движение робота по полю с растительностью, иногда встречаются люди и сложная местность; в дополнение к камерам и ЛИДАР имеется семантическая сегментация растений
Rosario [10], 2019 Поле IMU 140 Гц Стереокамера 672x376 15 Гц GPS-RTK 6 последовательностей суммарно 2300 м и 30 мин Есть в некоторых последовательностях Есть (незначительные) Записан на соевых полях, содержащих сложные участки: повторяющиеся паттерны, отражения, блики камеры и выгоревшие изображения, вызванные солнечными лучами
ТАБЛИЦА 1. Существующие наборы данных для оценки точности локализации Visual SLAM-алгоритмов
TABLE. 1. Existing Datasets for Measuring the Location Accuracy of Visual SLAM Algorithms
Также существуют симуляционные наборы данных, записанные не в реальном мире, а в виртуальной среде: VIODE [11], IBISCAPE [12] и CARLA-Loc [13]. Набор данных VIODE был записан при помощи симуляционной среды AirSim в городской местности с использованием таких сенсоров как IMU, сте-реокамера, сегментационная камера, отождествляющая каждому пикселю на изображении класс объекта, к которому он принадлежит. При помощи беспилотного летательного аппарата фокус набора данных был направлен на оценку устойчивости алгоритмов к высокому уровню динамичности среды, для этого один и тот же маршрут повторялся при разном уровне динамичности окружения. Из погодных условий в наборе изменяется только дневное и ночное время суток. IBISCAPE содержит показания следующих сенсоров: стереокамера, событийная камера, камера глубины, IMU, и GPS, был записан при помощи симулятора CARLA [14], состоит в общей сложности из 34 заездов при движении по разным картам. В дополнение к этому маршруты выполнялись при следующих погодных условиях: ясная погода; средние дождь, ветер и туманность; и сильные дождь, ветер и туманность. К недостаткам этого набора данных можно отнести то, что маршруты начинаются из различных точек пространства, а также то, что рассматривается небольшое число вариантов погодных условий, таким образом сложно оценить, что конкретно и в какой степени влияет на итоговую точность локализации.
Наиболее приближенным к нашему набору данных является недавний CARLA-Loc, также собранный из симуляционной среды CARLA с аналогичным набором сенсоров, дополненным IMU. В нем представлены 7 последовательностей движения робота по разным картам, каждая из которых записана в вариантах со статичным и одинаковым динамичным окружением, при погодных условиях: безоблачный полдень, туманный полдень, дождливая ночь. В нем также число исследуемых погодных условий ограничено небольшим диапазоном параметров, кроме того, исследуются исключительно городские территории, хотя и с различной плотностью инфраструктуры.
Таким образом существующие на данный момент наборы данных подходят для общей оценки алгоритмов одновременной локализации и построения карты, подходят для оценки влияния степени динамичности среды на точность локализации, однако оценка влияния погоды, в частности влияние конкретных климатических условий на ошибку локализации на них невозможна.
Методология сбора данных
При помощи симуляционной среды AirSim были записаны траектории движения автомобиля в городской среде (название используемой карты -
AirSimNH), а также по пересеченной местности (TrapCamera). Карта AirsimNH представляет из себя небольшой пригородный квартал, в котором есть дороги с разметкой, дорожные знаки, припаркованные автомобили, различные здания, растительность внутри квартала и лес, окружающий городскую территорию. Вид сверху на эту среду можно увидеть на рисунке 1а. TrapCamera (рисунок 1b), является гористой местностью, окруженной горным хребтом, в которой есть только поля, холмы, камни и небольшое число деревьев. Городская среда содержит больше объектов и, соответственно, больше потенциальных ключевых точек, тогда как пересеченная местность является более однородной, кроме того, при движении робота по гористой местности приходится иметь дело с большими перепадами высоты, что делает вторую среду значительно более сложной для применения SLAM-алгоритмов.
Во время записи траектории движения автомобиля, к нему были прикреплены 2 одинаковые камеры с разрешением 800 на 600 пикселей, полем зрения, равным 90 без дисторсии. Камеры были закреплены на расстоянии (0,-0.26,-1.9) и (0,0.26,-1.9) метров относительно системы координат автомобиля, таким образом образуя стереопару со стереобазой 0.52 м. Во время движения автомобиля в выбранный момент времени T симуляция ставилась на паузу, чтобы синхронизировать время сбора данных с датчиков, после чего данные записывались на диск. Кроме показаний датчиков, в тот же момент сохранялось истинное положение автомобиля относительно мировой системы координат, представленное тройкой (DXT, DYT, DZT) и ориентация в пространстве, представленная кватернионом (QWT, QXT, QYT, QZT) , после чего симуляция возобновлялась. Между записью показаний с датчиков был выбран интервал, равный 0.3 с на скорости симуляции 0.1, т. е. во временном пространстве среды, данные с датчиков собирались каждые 30 мс.
Для сохранения одинаковых условий во время множественных симуляций были разработаны 2 маршрута с учетом ландшафта окружающей среды (по одному для города и пересеченной местности). Контроль движения робота выполнялся при помощи корректировки параметров throttle (угол наклона дроссельной заслонки: 0 соответствует закрытому состоянию; 1 - полностью открытому. Контролируется количество горючей смеси, образующейся в карбюраторе, таким образом отвечая за ускорение) и steering (угол поворота колес: -1 соответствует повороту на 90 ° влево; 1 - на 90 ° вправо). Маршруты для города и пересеченной местности начинаются из положения DX0,DY0,DZ0 = 0, с ориентацией QW0 = 1 QX0,QY0, QZ0 = 0, и могут быть описаны пошаговыми алгоритмами (таблица 2).
Рис. 1. Вид на используемые среды AirSim сверху: AirSimNH (a) и TrapCamera (b)
Fig. 1. Top View of the AirSim Environments Used: AirSimNH (a) and TrapCamera (b)
ТАБЛИЦА 2. Алгоритм описания маршрута для городской среды и пересеченной местности
ТАБЛИЦА 2. Route Planning Algorithm for Urban and Terrain Environments
Шаг Действие Параметры Координата
throttle steering Название Значение (городская среда / пересеченная местность)
1* Движение вперед 0.7 0 DXT 115 / 115
2* Поворот направо 0.5 0.5 QWT 0.72 / 0.72
3* Движение вперед 0.7 0 DYT 112 / 112
4* Поворот направо 0.5 0.5 QWT 0.035 / 0.035
5* Движение вперед 0.7 0 DXT -110 / -140
6* Поворот направо 0.5 0.5 QWT 0.68 / 0.68
7* Движение вперед 0.7 0 DYT 16.5/ -30
8* Поворот направо 0.5 0.5 QWT 0.999 / 0.999
9* Движение вперед 0.7 0 DXT 0 / 0
10** Остановка handbrake=1 - -
Примечание: * - <Действие> с параметрами <...>, пока координата <...> не станет равной <...> ** - ручной тормоз, гарантирующий полную остановку робота
Маршруты для каждой среды, собранные при помощи алгоритмов, изображены на рисунке 2. Общая длина маршрута для среды AirSimNH составила 745, а для TrapCamera - 875 м. Из графиков видно, что маршрут по пересеченной местности сложнее, поскольку он содержит большие изменения по всем трем координатам, в городской среде изменения по координате DZ небольшие, с максимальной амплитудой в 2.5 см. Эти перепады высоты происходят при поворотах и остановке и скорее всего связаны с внутренним устройством движка симулятора.
Начало
-100
-50
-2.480
-2.485
1 . -2.490
'— -2.495
-2.500
-2.505
120
у 100
80
60
40
20
50
100 а)
0 5 -10 -15 -20 -25 -30
Рис. 2. Маршруты движения автомобиля в симуляционных средах: движение автомобиля в городской среде (a) и по пересеченной местности (b)
Fig. 2. Vehicle Routes in Simulation Environments: the Graph Shows the Car Moving in an Urban Environment (a) and Outside the Rough Terrain (b)
Погодные условия
Симулятор AirSim позволяет задавать различные условия среды, что было использовано для записи аналогичных маршрутов в разнообразных погодных условиях. Были записаны маршруты со следующими входными параметрами - 25, 50, 75 и 100 %: обычная погода, тег, тег и заснеженность дороги; дождь, дождь и мокрота дороги; падающие листья, падающие листья и листья на дороге; туман; пыльная буря. Поскольку карта TrapCam представляет из себя пересеченную местность, на ней отсутствуют дороги, поэтому все конфигурации,
влияющие на дорожное полотно, для данной среды не рассматривались.
Таким образом в общей сложности было проведено 36 симуляций, из которых 24 пришлось на городскую среду, а 12 - на пересеченную местность. Изображения с левой камеры, отображающие погодные изменения при изменении конфигураций, можно увидеть на рисунке 3. На рисунках можно видеть, что при высоких уровнях тумана и пыли обе местности становятся плохо различимы и скорее всего это усложнит извлечение ключевых точек. Наличие дождя или снега не сильно заметно на отдельных изображениях с камеры, поэтому, вероятно они не будут существенно ухудшать точность локализации.
Формат данных
Для распространения набор данных был разделен на отдельные поднаборы, каждый из которых советует одному проезду в городской или гористой местностях. Поскольку даже при наличии паузы между остановкой симуляции и сбором показаний датчиков случаются наносекундные расхождения в интервалах забора, кроме самих показаний датчиков, для каждого поднабора добавлен файл airsim_rec.txt, в котором представлено сопоставление временных меток и названий изображений с левой и правой камер. Также в каждом поднаборе присутствует файл camera_info.csv, содержащий истинные координаты левой камеры автомобиля и положение кватерниона для всех временных меток. Изображения с камер находятся в папке images/ в формате PNG и имеют название формата {название камеры} {интервал времени}.рпд, название камеры может быть либо fronjeft, либо fron_right. Ссылки на поднаборы, а также скрипты для сбора данных и конфигурационные файлы AirSim можно найти в репозитории по ссылке https: / / github.com/ avpodtikhov/VSLAM-dataset-AirSim.
Результаты
Оценка влияния погодных условий на точность локализации осуществлялась для одного из наиболее используемых алгоритмов одновременной локализации и построения карты ORB-SLAM3 [15]. Алгоритм применялся с использованием стереока-меры, из-за этого масштаб карты вычислялся верно и дополнительные преобразования координат не требовались. Для каждого временного интервала вычислялось евклидово расстояние между предсказанным положением робота и его истинным положением. Затем для каждой поездки эти расстояния усреднялись для получения метрики средней ошибки локализации. Результаты вычислений можно увидеть в таблице 3, из нее можно сделать вывод, что сложные погодные условия влияют на точность, хотя и не всегда негативно.
0
0
Заснеженность дороги 25% Заснеженность дороги 50% Заснеженность дороги 75% Заснеженность дороги 100%
b)
Рис. 3. Изображения с левой камеры автомобиля при различных погодных условиях на пересеченной местности (a)
и в городской среде (b)
Fig. 3. Images from the Left Camera of the Car under Various Weather Conditions in Rough Terrain (a) and in an Urban Environment (b)
ТАБЛИЦА 3. Средняя ошибка локализации алгоритма ORB-SLAM3 с использованием стереокамеры при различных погодных условиях
TABLE. 3. Average Localization Error of the ORB-SLAM3 Algorithm Using a Stereo Camera under Different Weather Conditions
Погодные условия Средняя ошибка локализации
Городская среда Пересеченная местность
Обычная погода 1.71 20.93
Снег Заснеженность дороги 0 % 2.38 357.86
Снег Заснеженность дороги 25 % 2.08 -
Снег Заснеженность дороги 50 % 1.22 -
Снег Заснеженность дороги 75 % 1.39 -
Снег Заснеженность дороги 100 % 2.13 -
Дождь Мокрота дороги 0 % 1.94 13.03
Дождь Мокрота дороги 25 % 1.76 -
Дождь Мокрота дороги 50 % 1.83 -
Дождь Мокрота дороги 75 % 1.91 -
Дождь Мокрота дороги 100 % 2.46 -
Падающие листья Листья на дороге 0 % 1.65 49.37
Падающие листья Листья на дороге 25 % 1.44 -
Падающие листья Листья на дороге 50 % 2.03 -
Падающие листья Листья на дороге 75 % 1.24 -
Падающие листья Листья на дороге 100 % 0.87 -
Туман 25 % 2.05 17.3
Туман 50 % 1.70 78.15
Туман 75 % 1.54 106.38
Туман 100 % 3.76 140.83
Пыльная буря 25 % 1.28 18.73
Пыльная буря 50 % 1.84 29.67
Пыльная буря 75 % 1.97 ЛОКАЛЬНАЯ КАРТА ПОТЕРЯНА
Пыльная буря 100 % 2.68 ЛОКАЛЬНАЯ КАРТА ПОТЕРЯНА
Рассматривая случаи функционирования в городской среде, обладающие большим разнообразием, из-за которого может быть извлечено множество ключевых точек, видно, что погодные условия
влияют на ошибку локализации не критически, наибольшая ошибка наблюдается при плохой видимости: сильном тумане и сильной пыльной буре, снег и дождь отрицательно влияют на точность, создавая ложные ключевые точки или закрывая предыдущие, при этом увеличение заснеженности или появление листвы на дороге влияют положительно, добавляя дополнительный рельеф на карту, в то же время слишком большой объем снега не образует отдельные заснеженные участки, а ложится равномерно, скрывая изначальный рельеф местности.
В случае пересеченной местности изначальная ошибка локализации значительно больше, а также погодные условия оказывают бо'льшее влияние. При большой пыльной буре алгоритм вовсе не справляется с задачей поддержания локальной карты местности, поскольку объекты, находящиеся далеко от робота, становятся плохо различимы. Аналогичная ситуация наблюдается с туманностью: хотя алгоритм справляется с локализацией, но ошибка увеличивается до 7 раз относительно нормальных погодных условий. Однако при небольшом тумане и пыльной буре точность немного улучшается, скорее всего это связано с увеличением контрастности местности. Падающие листья и снег создают ложные ключевые точки, находящиеся близко к камере, и ухудшают локализацию.
Таким образом, можно сделать заключение, что погодные условия влияют на точность локализации алгоритма ORB-SLAM3, поэтому в открытых пространствах его использование может быть затруднено, в особенности это касается однородных сред, таких как пересеченная местность, использующаяся в данной работе.
Заключение
В данной работе был выполнен краткий обзор наборов данных для тестирования Visual SLAM-алгоритмов, выявлена проблема, отсутствия в существующих наборах, достаточной информации для оценки устойчивости алгоритмов к различным погодным условиям и был представлен новый набор данных, основной задачей которого является восполнение этого недостатка. Наш набор данных состоит из 24 последовательностей движения автомобиля в городской среде с длиной маршрута 745 м, и 12 последовательностей движения по холмистой местности с длиной маршрута 875 м. Последовательности представлены в виде изображений со стереокамеры и истинными положениями робота, собранными с интервалом в 30 Гц. Собранный из симуляционной среды AirSim, в отличие от существующих наборов данных, он позволяет оценить влияние конкретных параметров окружающей среды в плотной городской среде и разрежен-
ной пересеченной местности без учета динамических объектов и при условии одинаковых траекторий движения робота. Таким образом, наш набор данных может послужить ценным материалом при всестороннем тестировании и анализе применимости Visual SLAM-алгоритмов. Подобный анализ был проведен для алгоритма ORB-SLAM3 с использованием стереокамеры. Результаты анализа показали, что в городской среде неэкстремальные погодные условия не сильно сказываются на точности локализации. К экстремальным условиям можно отне-
сти сильный туман и сильную пыльную бурю, когда видимость существенно снижается: ошибка локализации повышается, соответственно, на 120 и 56 % относительно изначальных 1.71 м в среднем. В свою очередь, на пересеченной местности влияние погодных условий значительно и может приводить к существенному росту ошибок. Так при наличии сильной пыльной бури локальная карта алгоритма была потеряна, что привело к невозможности локализации, а при снегопаде ошибка локализации повысилась с 21 до 358 м.
Список источников
1. Olson C.F., Matthies L.H., Schoppers H., Maimone M.W. Robust stereo ego-motion for long distance navigation // Proceedings of IEEE Conference on Computer Vision and Pattern Recognition (CVPR 2000, Hilton Head, USA, 15 June 2000). Cat. No. PR00662. IEEE, 2000. Vol. 2. PP. 453-458. D0I:10.1109/CVPR.2000.854879
2. Schubert D., Goll T., Demmel N., Usenko V., Stûckler J., Cremers D. The TUM VI Benchmark for Evaluating Visual-Inertial Odometry // Proceedings of IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS, Madrid, Spain, 01-05 October 2018). IEEE, 2018. PP. 1680-1687. D0I:10.1109/IR0S.2018.8593419
3. Fischler M.A., Bolles R.C. Random sample consensus: a paradigm for model fitting with applications to image analysis and automated cartography // Communications of the ACM. 1981. Vol. 24. Iss. 6. PP. 381-395. D0I:10.1145/358669.358692
4. Shah S., Dey D., Lovett C., Kapoor A. Airsim: High-Fidelity Visual and Physical Simulation for Autonomous Vehicles // Results of the 11th International Conference on Field and Service Robotics (Zurich, Switzerland, 12-15 September 2017). Springer Proceedings in Advanced Robotics. Cham: Springer, 2018. Vol. 5. PP. 621-635. D0I:10.1007/978-3-319-67361-5_40
5. Maddern W., Pascoe G., Newman P. 1 year, 1000 km: The oxford robotcar dataset // The International Journal of Robotics Research. 2017. Vol. 36. Iss. 1. PP. 3-15. D0I:10.1177/0278364916679
6. Cordts M., 0mran M., Ramos S., Scharwachter T., Enzweiler M., Benenson R., et al. The Cityscapes Dataset. URL: https://markus-enzweiler.de/downloads/publications/cordts15-cvprws.pdf (Accessed 18.01.2024)
7. Geiger A., Lenz P., Urtasun R. Are we ready for autonomous driving? The KITTI vision benchmark suite // Proceedings of IEEE Conference on Computer Vision and Pattern Recognition (Providence, USA, 16-21 June 2012). IEEE, 2012. PP. 3354-3361. D0I:10.1109/CVPR.2012.6248074
8. Engel J., Usenko V., Cremers D. A Photometrically Calibrated Benchmark for Monocular Visual 0dometry // arXiv preprint arXiv:1607.02555. 2016. D0I:10.48550/arXiv.1607.02555
9. Chebrolu N., Lottes P., Stachniss C., Winterhalter W., Burgard W., Stachniss C. Agricultural robot dataset for plant classification, localization and mapping on sugar beet fields // The International Journal of Robotics Research. 2017. Vol. 36. Iss. 10. PP. 1045-1052. D0I:10.1177/0278364917720510
10. Pire T.lMujica M., Civera J., Kofman E. The Rosario dataset: Multisensor data for localization and mapping in agricultural environments // The International Journal of Robotics Research. 2019. Vol. 38. Iss. 6. PP. 633-641. D0I:10.1177/0278364919 841437
11. Minoda K., Schilling F., Wûest V., Floreano D., Yairi T. Viode: A Simulated Dataset to Address the Challenges of Visual-Inertial 0dometry in Dynamic Environments // IEEE Robotics and Automation Letters. 2021. Vol. 6. Iss. 2. PP. 1343-1350. D0I:10.1109/LRA.2021.3058073
12. Soliman A., Bonardi F., Sidibé D., Bouchafa S. IBISCape: A Simulated Benchmark for multi-modal SLAM Systems Evaluation in Large-scale Dynamic Environments // Journal of Intelligent & Robotic Systems. 2022. Vol. 106. Iss. 3. P. 53. D0I:10.1007/s10846-022-01753-7
13. Han Y., Liu Z., Sun S., Li D., Sun J., Hong Z., et al. CARLA-Loc: Synthetic SLAM Dataset with Full-stack Sensor Setup in Challenging Weather and Dynamic Environments // arXiv preprint arXiv:2309.08909. 2023. D0I:10.48550/arXiv.2309.08909
14. Dosovitskiy A., Ros G., Codevilla F., Lopez A., Koltun V. CARLA: An 0pen Urban Driving Simulator // Proceedings of the 1st Annual Conference on Robot Learning (PMLR, 13-15 November 2017). 2017. Vol. 78. PP. 1-16.
15. Campos C., Elvira R., Rodriguez J.J.G., Montiel J.M.M., Tardos J.D. 0RB-SLAM3: An Accurate 0pen-Source Library for Visual, Visual-Inertial, and Multimap SLAM // IEEE Transactions on Robotics. 2021. Vol. 37. Iss. 6. PP. 1874-1890. D0I:10.1109/ TR0.2021.3075644
References
1. 0lson C.F., Matthies L.H., Schoppers H., Maimone M.W. Robust stereo ego-motion for long distance navigation. Proceedings of IEEE Conference on Computer Vision and Pattern Recognition, CVPR 2000,15June 2000, Hilton Head, USA, Cat. No. PR00662, vol.2. IEEE; 2000. p.453-458. D0I:10.1109/CVPR.2000.854879
2. Schubert D., Goll T., Demmel N., Usenko V., Stûckler J., Cremers D. The TUM VI Benchmark for Evaluating Visual-Inertial 0dometry. Proceedings of IEEE/RSJ International Conference on Intelligent Robots and Systems, IROS, 01-05 October 2018, Madrid, Spain. IEEE; 2018. p.1680-1687. D0I:10.1109/iR0S.2018.8593419
3. Fischler M.A., Bolles R.C. Random sample consensus: a paradigm for model fitting with applications to image analysis and automated cartography. Communications of the ACM. 1981;24(6):381-395. D0I:10.1145/358669.358692
4. Shah S., Dey D., Lovett C., Kapoor A. Airsim: High-Fidelity Visual and Physical Simulation for Autonomous Vehicles. Results of the 11th International Conference on Field and Service Robotics, 12-15 September 2017, Zurich, Switzerland. Springer Proceedings in Advanced Robotics, vol.5. Cham: Springer; 2018. p.621-635. DOI:10.1007/978-3-319-67361-5_40
5. Maddern W., Pascoe G., Newman P. 1 year, 1000 km: The oxford robotcar dataset. The International Journal of Robotics Research. 2017;36(1):3-15. D0I:10.1177/0278364916679
6. Cordts M., Omran M., Ramos S., Scharwachter T., Enzweiler M., Benenson R., et al. The Cityscapes Dataset. URL: https://markus-enzweiler.de/downloads/publications/cordts15-cvprws.pdf [Accessed 18.01.2024]
7. Geiger A., Lenz P., Urtasun R. Are we ready for autonomous driving? The KITTI vision benchmark suite. Proceedings of IEEE Conference on Computer Vision and Pattern Recognition, 16-21 June 2012, Providence, USA. IEEE; 2012. p.3354-3361. DOI:10.1109/CVPR.2012.6248074
8. Engel J., Usenko V., Cremers D. A Photometrically Calibrated Benchmark for Monocular Visual Odometry. arXiv preprint arXiv:1607.02555. 2016. D0I:10.48550/arXiv.1607.02555
9. Chebrolu N., Lottes P., Stachniss C., Winterhalter W., Burgard W., Stachniss C. Agricultural robot dataset for plant classification, localization and mapping on sugar beet fields. The International Journal of Robotics Research. 2017;36(10):1045-1052. D0I:10.1177/0278364917720510
10. Pire T.jMujica M., Civera J., Kofman E. The Rosario dataset: Multisensor data for localization and mapping in agricultural environments. The International Journal of Robotics Research. 2019;38(6):633-641. D0I:10.1177/0278364919841437
11. Minoda K., Schilling F., Wuest V., Floreano D., Yairi T. Viode: A Simulated Dataset to Address the Challenges of Visual-Inertial Odometry in Dynamic Environments. IEEE Robotics and Automation Letters. 2021;6(2):1343-1350. D0I:10.1109/ LRA.2021.3058073
12. Soliman A., Bonardi F., Sidibe D., Bouchafa S. IBISCape: A Simulated Benchmark for multi-modal SLAM Systems Evaluation in Large-scale Dynamic Environments. Journal of Intelligent & Robotic Systems. 2022;106(3):53. D0I:10.1007/ s10846-022-01753-7
13. Han Y., Liu Z., Sun S., Li D., Sun J., Hong Z., et al. CARLA-Loc: Synthetic SLAM Dataset with Full-stack Sensor Setup in Challenging Weather and Dynamic Environments. arXiv preprint arXiv:2309.08909. 2023. D0I:10.48550/arXiv.2309.08909
14. Dosovitskiy A., Ros G., Codevilla F., Lopez A., Koltun V. CARLA: An Open Urban Driving Simulator. Proceedings of the 1st Annual Conference on Robot Learning, PMLR, 13-15 November 2017, vol.78. 2017. p.1-16.
15. Campos C., Elvira R., Rodriguez J.J.G., Montiel J.M.M., Tardos J.D. ORB-SLAM3: An Accurate Open-Source Library for Visual, Visual-Inertial, and Multimap SLAM. IEEE Transactions on Robotics. 2021;37(6):1874-1890. D0I:10.1109/TR0.2021. 3075644
Статья поступила в редакцию 11.12.2023; одобрена после рецензирования 16.01.2024; принята к публикации 17.01.2024.
The article was submitted 11.12.2023; approved after reviewing 16.01.2024; accepted for publication 17.01.2024.
ПОДТИХОВ Артур Владимирович
Информация об авторах:
аспирант лаборатории автономных робототехнических систем Санкт-Петербургского Федерального исследовательского центра Российской академии наук Ь«рБ: //orcid.org/0009-0008-3022-5282
САВЕЛЬЕВ Антон Игоревич
кандидат технических наук, старший научный сотрудник лаборатории автономных робототехнических систем Санкт-Петербургского Федерального исследовательского центра Российской академии наук https://orcid.org/0000-0003-1851-2699
