CC BY
29
УДК 004.9
DOI: https://doi.org/10.26518/2071-7296-2022-19-6-900-914 EDN: VISRXD
Я Check for updates
Научная статья
РАЗРАБОТКА СЕМАНТИЧЕСКОЙ КАРТЫ ДЛЯ БЕСПИЛОТНОГО АВТОМОБИЛЯ С ИСПОЛЬЗОВАНИЕМ МЕТОДА ОДНОВРЕМЕННОЙ ЛОКАЛИЗАЦИИ И КАРТОГРАФИРОВАНИЯ
Введение. Сфера беспилотных технологий стремительно развивается, и в ней проводится множество исследований по применению на практике алгоритмов искусственного интеллекта для решения комплексных задач на дороге. Сложности в восприятии машиной окружающего мира привели к появлению специальных карт высокого разрешения (High definition maps). Эти карты используются для упрощения и улучшения качества и надежности работы других подсистем из стека беспилотных технологий, таких как модули локализации, навигации и планирования. В современной литературе встречаются в основном работы по применению таких карт, а процесс разработки карты остается за рамками рассмотрения. Цель работы. Создать методологию проектирования семантических карт для беспилотного транспорта с подробным описанием каждого из этапов разработки.
Материалы и методы. В данной статье описывается методология создания HD-карт, включающая в себя этапы сбора данных по методологии SLAM (Simultaneous localization and mapping), их дальнейшую обработку и разработку семантики дорожной сети. Описываемый алгоритм применяется на практике на примере разработки семантической карты района г. Иннополиса с применением SLAM подхода, использующего лидарную инерциальную одометрию - LIO-SAM (LIDAR inertial odometry via smoothing and mapping).
Результаты. Сформированы основные этапы методологии создания HD-карт для беспилотного транспорта. Авторы реализовали предложенную концепцию на практике и подробно описали процесс создания семантической карты для г. Иннополиса.
Обсуждение и заключение. Предложенная методология может быть использована для любого типа беспилотной техники (наземная, летная, водная) и для разных дорожных условий (город, бездорожье) в зависимости от информации, которую должна предоставлять карта для реализации поставленных для беспилотника целей и задач.
КЛЮЧЕВЫЕ СЛОВА: HD-карта, семантическая карта, SLAM, LIO-SAM.
Статья поступила в редакцию 29.09.2022; одобрена после рецензирования 22.10.2022; принята к публикации 19.12.2022.
Авторы прочитали и одобрили окончательный вариант рукописи.
Прозрачность финансовой деятельности: авторы не имеют финансовой заинтересованности в представленных материалах и методах. Конфликт интересов отсутствует.
Для цитирования: Родионов О. А., Рашид Б. Разработка семантической карты для беспилотного автомобиля с использованием метода одновременной локализации и картографирования // Вестник СибАДИ. 2022. Т. 19, № 6 (88). С. 900-914. https://doi.org/10.26518/2071-7296-2022-19-6-900-914
© Родионов О. А., Рашид Б., 2022
О. А. Родионов*, Б. Рашид
Лаборатория беспилотных технологий университета Иннополис
г. Иннополис, Россия
o.rodionov@innopolis.university, http: //orcid.org/0000-0001-7603-3413 b.rasheed@innopolis.university, http://orcid.org/0000-0003-3874-0883
* ответственный автор
АННОТАЦИЯ
Контент доступен под лицензией Creative Commons Attribution 4.0 License.
Original article
DOI: https://doi.org/10.26518/2071-7296-2022-19-6-900-914 EDN: VISRXD
DEVELOPMENT OF A SEMANTIC MAP FOR AN UNMANNED VEHICLE USING A SIMULTANEOUS LOCALISATION AND MAPPING METHOD
ABSTRACT
Introduction: The field of unmanned technologies is rapidly developing and a lot of research is being conducted on the practical application of artificial intelligence algorithms to solve complex problems on the road. The difficulties in the perception of the surrounding world by the machine led to the appearance of special High definition maps. These maps are used to simplify and improve the quality and reliability of other subsystems from the stack of autonomous technologies, such as localization, prediction, navigation and planning modules. In modern literature, there are mainly works on the practical application of such maps, and the process of developing a map remains outside the scope of consideration.
The aim of the work is to create a methodology for designing semantic maps for autonomous vehicles with a detailed description of each of the development stages.
Materials and methods: The article describes the methodology for creation of HD maps, which includes the stages of data collection using SLAM (Simultaneous localization and mapping) approach, its further processing and the development of the semantics of the road network. The described algorithm is applied in practice to develop the semantic map of Innopolis city area using SLAM approach with LIDAR inertial odometry via smoothing and mapping (LIO-SAM).
Results: The main stages of the methodology for creating HD maps for autonomous vehicles have been proposed and investigated. Authors implemented the proposed concept in practice and described in detail the process of creating a semantic map for the Innopolis city area.
Conclusions: The proposed methodology can be used for any type of autonomous robots (ground vehicles, unmanned aerial vehicle, water transport) and can be implemented in different road conditions (city, off-road), depending on the information the map should provide for the implementation of the goals and objectives set for the autonomous vehicle.
KEYWORDS: HD map, semantic map, SLAM, LIO-SAM.
The article was submitted 29.09.2022; approved after reviewing 22.10.2022; accepted for publication 19.12.2022.
The authors have read and approved the final manuscript.
Financial transparency: the authors have no financial interest in the presented materials or methods. There is no conflict of interest.
For citation: Oleg Rodionov, Bader Rasheed Development of a semantic map for an unmanned vehicle using a simultaneous localization and mapping method. The Russian Automobile and Highway Industry Journal. 2022; 19 (6): 900-914. https://doi.org/10.26518/2071-7296-2022-19-6-900-914
© Rodionov O. A., Rasheed B., 2022
Oleg A. Rodionov* Bader Rasheed
Innopolis University Unmanned Technology Laboratory Innopolis, the Russian Federation o.rodionov@innopolis.university, http: //orcid.org/0000-0001-7603-3413 b.rasheed@innopolis.university, http://orcid.org/0000-0003-3874-0883
Corresponding author
Content is available under the license Creative Commons Attribution 4.0 License.
ВВЕДЕНИЕ
В мире существует множество различных типов карт - географические, климатические, топологические, дорожные и т.д. Все они выполняют единую функцию, которая заключается в предоставлении справочной информации об окружающих объектах или условиях на определенной местности, но отличаются друг от друга масштабами, степенью детализации и наличием только определенного типа объектов интереса. С помощью карт решаются в основном навигационные задачи, такие как прокладывание маршрутов, планирование времени перемещения, расчет расстояния между объектами, анализ загруженности дорожной сети и другие логистические задачи.
Рисунок 1 - Стек беспилотных технологий Источник: составлено авторами.
Figure 1 - Unmanned technologies stack.
Source: compiled by authors.
Описанные выше карты предназначены для использования человеком, однако в сфере искусственного интеллекта задачи восприятия окружающей среды, ориентации в ней и принятия решений на основе собранной информации являются комплексными и взаимозависимыми. Именно поэтому для беспилотного транспорта были созданы HD-карты - карты высокого разрешения, которые содержат необходимую семантическую информацию об окружающей среде и упрощают восприятие автономным средством внешнего мира. Семантика карты включает в себя статические неподвижные объекты на дороге: дорожные полосы, знаки, светофоры и другие, а также устанавливает связи между ними в соответствии с правилами дорожного движения.
Суть работы беспилотного автомобиля отражает стек беспилотных технологий [1], который состоит из следующих подсистем: модуль сбора данных или модуль сенсорики, модуль восприятия, модуль локализации, модуль прогнозирования, модуль картографии, модуль навигации, модуль планирования и модуль управления. Схема этой системы представлена на рисунке 1.
Как видно из рисунка, модуль картографии плотно взаимодействует с другими подсистемами: частично или полностью заменяет данные сенсоров, увеличивает дальность их действия, определяет и выделяет область интереса для определенного устройства и модуля распознавания [2], предоставляет информацию о геометрии дорог и семантике дорожной сети для модуля прогнозирования, увеличивает точность локализации транспортного средства внутри окружающего пространства [3] и передает информацию о правилах дорожного движения и ситуации на дороге для модуля планирования.
Из-за плотной связи с другими подсистемами к модулю картографии предъявляются следующие требования: высокая точность предоставляемой информации, универсальный формат, подходящий каждому модулю из стека, надежность, актуальность, а также отсутствие избыточности информации. Более того, создание HD-карты является одним из первых этапов разработки программного комплекса беспилотных технологий или эксплуатации транспортного средства на новом участке. Поэтому необходимо предложить быстрый и эффективный метод проектирования таких карт, который и описывается в данной статье.
Технология разработки HD-карт. Важно понимать, что с технической точки зрения HD-карта представляет собой базу данных, которая отвечает на приходящие запросы и выдает только необходимую информацию [4]. Ввиду того что каждый модуль беспилотного стека создает уникальный запрос, возникает вопрос, как эффективно организовать хранение информации. Оптимальным решением является структуризация информации в отдельные слои, каждый из которых выполняет отведенную роль, хранится, разрабатывается и модифицируется отдельно. Поэтому методология разработки карт состоит из нескольких этапов, каждый из которых связан с отдельным уровнем информации.
Структура HD-карты. С точки зрения предоставляемой информации можно выделить пять слоев HD-карты [4]:
Гзометрический слой. Содержит информацию о геометрии физического или виртуального объекта, который состоит из набора примитивов: точек, линий, полигонов и областей. Таким образом моделируются границы дорог, дорожных полос и других окружающих неподвижных объектов.
Семантический слой. Добавляет виртуальные ограничения, которые отражают действие правил дорожного движения на участке: проектирование дорожных полос с направлением движения, дорожных знаков, ограничений скорости, светофоров, стоп линий и т. д. Этот уровень карты строится на основе предыдущего.
Дорожная сеть. Устанавливает, каким образом дорожные полосы образуют единую систему дорожной сети для построения маршрута, однако тип соединения близлежащих примитивов определяется предыдущими слоями.
Экспериментальный слой. Подразумевает периодическое обновление карты с учетом изменений на участке: дорожные работы, высокая загруженность транспортного потока. Информация собирается с транспортных средств, анализируется и обновляется [5].
Слой реального времени. Обновление карты в реальном времени с учетом текущей ситуации на дороге: аварии, пробки и т.д.
Последние два слоя служат для поддерживания актуальности карты, поэтому в рамках данной статьи они не рассматриваются. Методология создания HD-карты подразумевает разработку геометрического слоя, а затем проектирование семантического слоя и дорожной сети на основе созданной геометрии. Для этого применяются две разные технологии, описание которых приводится далее.
Разработка геометрического слоя методом SLAM. Геометрический слой на практике представлен в виде облака точек, отображающего физическую структуру окружающей среды. Такое облако собирается при помощи сенсоров, которые могут измерять расстояние до ближайших препятствий. Чаще всего используется LIDAR (Light Detection and Ranging), работа которого основана на излучении света и замере времени возвращаемого сигнала, отраженного от реального объекта. Такой сенсор позволяет собрать облако точек вокруг источника, на котором он установлен, в режиме реального времени, однако у данного устройства нет функции запоминания положения препятствий в пространстве: если сенсор подвижен, он просто выдает облако точек относительно нового положения источника сигнала. Поэто-
му для создания физического слоя требуется более комплексное решение, отличающееся от простого сбора данных с лидарного устройства.
В мобильной робототехнике строго выделяются два понятия [6]: робот, у которого есть определенная миссия, и окружающая среда, в которой агент проводит наблюдения при помощи сенсорики и таким образом получает информацию. Поэтому возникают одновременно две задачи: задача моделирования окружения, которая заключается в сохранении положения препятствий и ориентиров относительно положения робота, и задача локализации, которая подразумевает определение положения исполнителя миссии в окружающем пространстве по ориентирам, расположенным в его окружении. На практике ввиду того что все используемые сенсоры не являются идеальными, и их работа сопровождается шумами, возникает взаимозависимость задач картографии и локализации: модель внешнего мира необходима для локализации, и оценка положения робота необходима для сохранения в карте положения окружающих объектов относительно него. Таким образом, эти две задачи решаются одновременно в рамках подхода SLAM (Simultaneous localization and mapping) [7]. В данной статье рассматривается применение одного из современных методов SLAM на практике для создания физического слоя карты высокого качества.
Разработка семантического слоя. Как было описано ранее, семантический слой строится на основе геометрического и включает в себя абстрактные объекты, обозначающие и регулирующие правила дорожного движения. Семантика устанавливает связи объектов, которые могут выражаться в разрешении или запрете пересечения дорожной полосы, возможности или невозможности того или иного маневра автомобиля, в ограничении по скорости, в установке приоритета движения и так далее. Сложность заключается в том, что искусственный интеллект, как правило, не может полностью научиться обрабатывать эти семантические связи только при помощи модуля распознавания. Так, можно распознать дорожные полосы на дороге [8], но транспортное средство не сможет определить, разрешено ли пересекать линию без предварительно загруженной информации. К тому же разделения дорог на полосы не всегда явно обозначается линиями, например, при наличии кольцевого движения. Эти ситуации и многие другие являются неоднозначными и могут иметь не-
сколько вариантов проектирования. Именно поэтому разработка семантического слоя осуществляется вручную специалистами, которые при помощи инструментов создают абстрактные объекты и определяют связи между ними. Этот процесс можно частично автоматизировать при помощи методов машинного обучения, например, сегментируя объекты, дороги и классифицируя дорожные знаки. Тем не менее финальную версию карты анализирует и дорабатывает человек.
Обзор существующих решений. Для создания эффективного подхода по разработке HD-карт необходимо обратиться к литературе, посвященной данной тематике, и рассмотреть развитие существующих методов. Статьи, посвященные HD-картам, как правило, рассказывают о семантических картах: как организовано хранение информации и как реализуется логика правил дорожного движения. Создание физического слоя отражено в статьях о методах SLAM, которые отличаются между собой конфигурацией сенсоров и используемыми алгоритмами, поэтому в данном разделе эти две темы рассматриваются отдельно.
Семантические карты. Различные уровни карты и цели их использования с течением времени с развитием стеков беспилотных технологий, отличающихся по своей конфигурации, привели к появлению различных форматов карт. Многие из них принадлежат коммерческим компаниям и являются закрытыми, но существует и несколько открытых. Самым простым из них является формат XML OSM(Open Street Map) [9]. Эти карты созданы вручную сообществом разработчиков и представляют из себя большую базу данных, каждый объект в которой описывается набором геометрических линий и таблицей атрибутов со специальным идентификатором. Существуют общепринятые таблицы с правилами обозначения тех или иных объектов и любой желающий может внести изменения в эту карту. Однако такие карты не подходят для использования беспилотными автомобилями в силу своей неточности, которая может достигать погрешности в 10 м, что является неприемлемым значением для управления автомобилем на дороге.
Существует два основных открытых формата карт: OpenDRIVE и Lanelet2 и оба они базируются на формате XML(eXtensible Markup Language). Основное назначение формата OpenDRIVE [10] - использование для симуляции и тестирования систем помощи водителю
- ADAS [11, 12]. В этом формате все элементы мира разделяются на дороги и сопряжения, а каждое соединение дорог явно указывается по отношению предшественник-последователь, как показано на рисунке 2. Каждая дорога делится на секции по направлению движения, которые, в свою очередь, разделяются на несколько дорожных полос поперек. Позиция полос задается неявно со смещением относительно боковой линии, а связь примыкающих полос должна быть явно определена при помощи специальной записи. Таким образом формируется дорожный граф со строгим соединением дорог между собой. Такой подход удобен для планирования маршрута беспилотного автомобиля, потому что все узлы графа задаются при проектировании карты, однако формат не поддерживает хранение информации о других участниках дорожного движения и специфике их перемещения, а также плохо работает в условиях плотной дорожной сети.
Рисунок 2 - Представление дорог в формате OpenDRIVE. Элементами формата выступают дорога (road) и сопряжение (junction), каждый из которых имеет уникальный идентификатор (id), а их соединение (road rule) явно указывается в отношении предшественник (predecessor) - последователь (successor) [10]
Figure 2 - Representation of roads in the Open DRIVE format. The elements of the format are the road and junction, each of which has a unique identifier, and their connection is explicitly indicated in relation with a type predecessor -
successor [10]
Рисунок 3 - Примитив линия (linestring). Используется для обозначений границ дорожных полос, в атрибутах указываются тип линии и идентификатор [13]
Figure 3 - Llinestring primitive. Used to mark the boundaries of road lanes, contains the line type attribute and identifier [13]
Относительно новым является формат Lanelet2 [13, 14]. В отличие от формата OpenDRIVE этот подход использует восходящую модель проектирования. Это означает, что карта не является ориентированной на беспилотный автомобиль, а содержит информацию обо всех участниках дороги, не имея явно указанных маршрутов и сопряжений между элементами - все это определяется при помощи внутренних правил формата, которые описаны подробнее ниже. Любая карта Lanelet2 формата состоит из пяти примитивов - точек и линий, которые являются частью геометрического слоя, и элементов семантического слоя карты: лейнлетов, областей и регуляционных элементов, определяющих правила дорожного движения. Каждый элемент имеет уникальный идентификатор, по которому их можно найти и использовать с целью получения информации, а также обладает набором атрибутов, которые определяют его роль в дорожном движении. Так, двойная сплошная линия запрещает пересечение дорожной полосы, а прерывистая, наоборот, разрешает - все это устанавливается правилами проектирования карт этого формата, которые максимально приближены к реально существующим правилам на дороге.
Точка (или узел) является базовым примитивом, в ней содержатся географические координаты. Следующий элемент, изображенный на рисунке 3, линия, состоит из точек и используется для обозначения дорожных полос, светофоров и форм других объектов. Именно атрибуты линий определяют возможность или невозможность их пересечения в соответствии с правилами дорожного движения.
Лейнлет является основным элементом - это атомарная секция, в которой осуществляется направленное движение. Он задается строго одной левой и строго одной правой границей, которые определяют направление движения. Свойство атомарности означает неизменяемость правил дорожного движения внутри одного лейнлета, поэтому обычно этим элементом обозначают дорожную полосу, которая соединяется с другими по общим узлам. Лейнлеты могут пересекаться между собой, например, на участке дороги с поворотом в сторону и движением прямо. Пример этого элемента приведен на рисунке 4. Следующим примитивом, схожим с предыдущим, является область: она обозначает участки без направленного движения, такие как парковоч-
ные зоны, площади, здания и т.д. (рисунок 5). Области задаются замкнутым полигоном, который может описывать как внешнюю, так и внутреннюю аницу.
Рисунок 4 - примитив лейнлет (lanelet). Задается левой (left) и правой (right) границами типа линия (linestring), определяющими движение по дорожной полосе. Обладает собственными атрибутами, включающими идентификатор и определяющими участников движения и правила
на дороге [13]
Figure 4 - The lanelet primitive. It is defined by the left and right boundaries that describe traffic on the road lane. It has its own attributes, including the identifier, participants of the movement and the traffic rules
on the road [13].
Рисунок 5 - Примитив область (area). Имеет границу в виде замкнутого полигона и включает в себя идентификатор и атрибуты назначения
[13]
Figure 5 - Primitive area. It has a border in the form of a closed polygon and includes the identifier and application attributes
[13]
Рисунок 6 - Примитив регуляционный элемент. Является абстрактной реализацией правил дорожного движения, действующих внутри определенного лейнлета.
Имеет идентификатор, атрибут типа и ссылки на линии вступления правила в силу и линии прекращения действия соответственно
[13]
Figure 6 - Regulatory element. It is an abstract implementation of the traffic rules applied inside a certain lane. It has an identifier, a type attribute, and references to the lines of the rule's entry and termination, respectively [13].
Наконец, правила дорожного движения внутри лейнлета или области задаются регуляционным элементом. С их помощью вступают в силу ограничения скорости, устанавливаются приоритеты дорожных полос, стоп-линии и множество других правил со знаками и светофорами. Описанный примитив показан на рисунке 6.
Авторами формата Lanelet2 были разработаны атрибуты для каждого из описанных выше примитивов, которые определяют правила дорожного движения для нескольких его участников. Например, мотоцикл и легковой автомобиль могут иметь разные ограничения по скорости, а автобус может иметь собственную дорожную полосу, где остальным участникам ездить запрещено. Готовых таблиц атрибута вполне достаточно, чтобы спроектировать семантическую модель дорожного движения в сложных городских условиях, но также формат Lanelet2 поддерживает возможность создания собственных атрибутов и объектов для симуляции любых условий. Информативность, открытость, мобильность и адаптивность - вот ключевые факторы данного формата, и поэ-
тому именно он был выбран для разработки семантических HD-карт.
LIO-SAM. Современные подходы по методу SLAM используют LIDAR в качестве основного сенсора, так как он обладает большим диапазоном действия и позволяет получить данные в высоком разрешении с углом обзора в 360 градусов. Установка, состоящая из лидара и инерциального сенсора [15], может быть использована для реализации высокоэффективного метода LOAM (LIDAR odometry and mapping), описанного в статье [16]. Существуют эффективные алгоритмы для сопоставления точек, которые представлены в двух разных облаках [17], одним из базовых подходов является итеративный алгоритм поиска ближайших точек(1СР) [18], выдающий в качестве результата трансформацию между двумя последовательными положениями ли-дара. Однако этот способ определения одо-метрии является неточным из-за искажения облаков точек, собранных с движущегося ли-дара, - этим и обосновано использование IMU для компенсации данного искажения.
Несмотря на эффективность метода LOAM, у него есть несколько существенных недостатков: он не предоставляет абсолютные положения точек в пространстве, не поддерживает GPS (Global Positioning System), ненадежен в обнаружении уже пройденных положений на карте для уточнения положений уже существующих объектов в пространстве, а также не подходит для создания больших по площади карт из-за накапливаемой погрешности.
LIO-SAM [19] представляет собой подход решения задачи моделирования карты и локализации с применением лидара и инерци-ального устройства с дополнительным алгоритмом оптимизации. Авторы используют нелинейную модель движения и данные инер-циального сенсора, чтобы компенсировать искажение облака точек, и с помощью предсказанного движения применяют алгоритм оптимизации лидарной одометрии, чтобы удалить шумы IMU. Структура системы показана на рисунке 7.
На рисунке показано, что на вход система получает лидарное облако точек, данные инерциального сенсора и опционально геолокацию. Вся информация, получаемая системой, может быть представлена в виде графа, узлами которого являются дискретные положения автомобиля х., i = 1 ..nn, то есть векторы, состоящие из проекций положений автомобиля, скоростей и ускорений на мировые координаты в различные дискретные моменты
времени. Изменения в этом графе вызваны совокупным действием 4 факторов:
Фактор инерциального устройства. Этот метод основан на использовании нелинейной модели движения для определения относительного движения при переходе из одного положения в другое - это позволяет убрать шум инерциального устройства.
Фактор лидарной одометрии. При появлении нового облака точек проводится анализ его свойств и выделяются объекты с особыми характеристиками: плоские и граничные узловые точки. Совокупность всех особых точек на дискретном временном шаге составляют текущий кадр лидарного облака. Движение роботизированного автомобиля приводит к изменению кадров и, когда разница между соседними положениями становится больше установленного значения, фиксируется ключевой кадр соответствующий новому положению х.+1. Таким образом, новая вершина добавляется в граф только при наличии существенных изменений - это позволяет сбалансировать и оптимизировать граф. Далее для каждого нового положения х. выбирается п предыдущих ключевых кадров кото-
рые переводятся в глобальную си стему координат трансформациями Т._п,..,,Т. и образуют глобальную карту М. = {М.е,М.р}, состоящую из карт с граничными и плоским и узловыми точ-
ками соответственно. Наконец, каждый новый ключевой кадр F.+1 сопоставляется с глобальной картой предыдущего шага, чтобы в итоге получить трансформацию Д Т..+1 между двумя соседними положениями х. и х.+1.
Фактор геолокации. Убирает дрифт данных при длительном использовании для сбора больших карт. Данные, полученные в географических координатах, проецируются на плоскость и ассоциируются с текущим положением для каждого узла графа.
Фактор замыкания траектории. При добавлении нового положения х. л он сначала
1+1
сравнивается с предыдущими для поиска схожих. Если такое положение xs найдено, вокруг него выбирается диапазон ключевых кадров облаков точек {F ,...,F }, и это множество
s—m s+mJ '
сопоставляется с новым кадром Fi+1. Полученная трансформация увеличивает точность собранной карты. С помощью этого фактора корректируются смещения по высоте.
Совокупность четырех факторов позволяет методу преодолеть характерные для любого подхода SLAM проблемы, связанные с оценкой положения роботизированного автомобиля, шумными и искаженными данными сенсоров и ограниченностью в длительности работы. Поэтому метод хорошо подходит для создания карт высокого разрешения.
I I I 1 I I I M I 1 I [I I lit I I I I I I I I I I I I I ■ I 11 ItI 11 I I I■I I I I■I I I I■I I I I I I 1
II IMU rnMsurenwfUE. Lidar frames Lidar Keyframe ■ К/I, «Mi GPS measurement *) Robot &1ate node
imu pntmissratort —*— Lidar edcmeijy QPS ,aaof lmo doiw* 5дП rMtrm
. ' r-..1 l.^x- ■ ». ■ A,
' V
Рисунок 7 - Структурная схема метода LIO-SAM. Связь изменения положений роботизированного автомобиля и получаемой из наблюдений информации реализована в виде графа, узлами которого являются дискретные положения автомобиля . Переход между соседними положениями определяется 4 факторами: 1 - фактор
инерциального устройства, заключающийся в интегрировании его данных; 2 - фактор лидарной одометрии, заключающийся в анализе облаков точек в разных положениях; 3 - фактор геолокации, заключающийся в увеличении точности локализации автомобиля с использованием устройства геолокации; 4 - фактор замыкания траектории, который увеличивает точность карты при повторном
прохождении автомобилем знакомой траектории [19]
Figure 7 - Block diagram of the LIO-SAM method. The relationship between changes in the autonomous vehicle's state and the information obtained from observations is implemented in the graph form, where the nodes represent the vechicle states. The transformation between states is determined by 4 factors: 1 - pre-integration factor, which assumes integration of IMU data to obtain relative transformation, 2 - LIDAR odometry factor, which consists in analyzing point clouds in different positions, 3 - geolocation factor, which implies usage of the geolocation device to increase localization accuracy and 4 - loop closure factor, which increases the accuracy of the map when the vechilce recognizes the repeated trajectory [19]
Рисунок 8 - Методология разработки HD-карты.
Источник: составлено авторами.
Figure 8 - Methodology of HD map development.
Source: compiled by authors.
МАТЕРИАЛЫ И МЕТОДЫ
Методология разработки карты. LIO-SAM является эффективным SLAM подходом, однако качество результата зависит от большого числа факторов, начиная от выбора оборудования и заканчивая установкой гиперпараметров, также как и качество семантической карты зависит от точности геометрического слоя и выбора подходящих инструментов проектирования. В данной главе приводятся этапы разработки с объяснением характерных особенностей каждого из них. Полная схема методологии представлена на рисунке 8.
Разберем подробнее каждый из этапов:
Настройка оборудования. Для сбора данных необходимо наличие 3 сенсоров. Первый сенсор - 9-осевое инерциальное устройство, которое измеряет ориентацию в пространстве, угловые скорости и линейные ускорения в трех проекциях соответственно. Работа устройства сопровождается искажением из-за статического шума, который должен быть скомпенсирован калибровкой - для этого данные с устройства записываются в течение нескольких часов, а затем решается задача оптимизации для выявления степени влияния шума [20]. Чем точнее данные IMU, тем лучше работает SLAM подход. Лидар должен быть установлен на автомобиле таким образом, чтобы он сканировал всю область с обзором в 360 градусов и покрывал дорогу перед транспортным средством. Для подхода LIO-SAM важно знать трансформацию между лидаром и инер-циальным устройством, причем существенную роль играет только матрица поворота, потому что относительное расстояние между сенсорами не изменяется при движении робо-
тизированного автомобиля. Для нахождения трансформации записываются данные с сенсоров, после чего они калибруются в рамках решения задачи оптимизации [21]. Модуль геолокации получает позицию в географических координатах, калибровка для него при этом не требуется, так как важна только точность определения географических координат, а не относительное положение сенсора.
Создание физического слоя карты. Перед запуском метода LIO-SAM необходимо задать конфигурацию системы: назначить ковариации модели и геолокации, которые дают информацию для фильтра Калмана [22] о степени доверия математической модели и наблюдениям сенсоров. Также важно определить трансформации между инерциальным устройством и лидаром, шумы сенсоров, использование высоты в геолокации, расстояние между ключевыми кадрами сканов, диапазон поиска особых точек и другие характеристики. Таким образом, подход имеет большое количество гиперпараметров, и его результаты зависят от целого набора факторов, которые можно проверить только на практике. Лидар-ная карта должна собираться автомобилем на небольшой скорости, и маршрут должен быть построен с наибольшим количеством замкнутых траекторий для поддерживания стабильности глобального облака и увеличения общей точности. Полученная карта представлена несколькими файлами формата pcd (pointcloud), в которых отдельно хранятся траектории движения автомобиля, облако точек с особыми объектами и глобальное облако точек. Для дальнейшей работы подходит именно карта с особыми свойствами, так как там хорошо различимы границы объектов.
Геопривязка облака точек. Формат pcd не поддерживает геопривязку, все точки имеют локальное смещение по осям относительно начального положения. Внутри метода LIO-SAM используется всемирная система геодезических параметров Земли 1984 г. WGS84 [23]. Географические координаты, выраженные в широте, долготе и высоте, проецируются на плоскость в виде локальных смещений, используемая проекция при этом - UTM (Universal Transverse Mercator) [24], поперечная проекция Меркатора - это система картографических проекций, в которой поверхность Земли разделена на 60 вытянутых в меридиональном направлении зон шириной 6 градусов. Такие зоны обозначаются кодом, который должен быть известен для тестирования подхода LIO-SAM. Для дальнейшей работы с картой требуется использование проекции MGRS(Military Grid Reference System) [25], которая является производной от UTM - каждая UTM зона, в свою очередь, делится на более маленькие ячейки со сторонами в 100 км. Каждая ячейка представлена кодом UTM зоны и дополнительными буквами, базис системы координат находится в нижнем левом углу для каждой зоны соответственно. Для геопривязки облака точек необходимо задать всем его точкам смещение, равное расстоянию от проекции точки начала отсчета до начала координат соответствующей зоны MGRS.
Разработка геометрии Vector Map Builder. Vector Map Builder [26] - это инструмент, предоставленный для общего пользования компанией Tier4 для разработки карт формата Lanelet2 из облака точек. Разработка карты ведется в плоскости MGRS проекции облака точек, как показано на рисунке 9.
Функционал позволяет анализировать 3D облако точек, изменять его внешний вид или измерять расстояния. Проектирование осуществляется в плоском 2D режиме на виде сверху. Инструмент поддерживает прорисовку линий, обозначение узлов точек, создание лейнлетов и установление правил дорожного движения, но лучше всего он подходит для создания геометрического слоя, то есть прорисовки границ дорог. Это связано с интерфейсом программы и его ориентированностью на работу с облаком точек: он хорошо подходит для прорисовки линий по точкам в крупном масштабе для соблюдения высокой точности карты, но плохо подходит для проектирования семантики - наложение лейнлетов поверх облака точек выглядит громоздко при плотной дорожной сети. Предоставленный для семан-
тики набор инструментов является неполным, в нем отсутствуют, например, шаблоны некоторых примитивов и такие функции, как копирование набора атрибутов, что затрудняет работу с массивом лейнлетов.
1Ш l—■ m
Рисунок 9 - Интерфейс среды разработки Vector Map Builder: 1 - заглавное меню;
2 - переключение камеры в режимах 2D и 3D; 3 - поле выбора объекта для отрисовки; 4 - поле отображения элементов; 5 - поле поиска
объектов; 6 - редактирование объектов; 7 - список специальных действий для выбранного элемента;
8 - информация об объекте под курсором;
9 - панель справочной информации Источник: Vector Map Builder [26].
Figure 9 - Vector Map Builder development environment interface: 1 - main menu, 2 - 2D and 3D mode views, 3 - object selection field, 4 - element display field, 5 - object search field, 6 - object editing, 7 - special actions for the selected element, 8 - object information, 9 - reference information panel Source: Vector Map Builder [26].
Разработка семантического слоя в JOSM. Для работы с семантикой карты используется инструмент Java Open Street Map(JOSM) [27]. Он удобен тем, что содержит ряд специально разработанных авторами формата шаблонов, позволяющих быстро создавать примитивы формата Lanelet2, указывать их атрибуты и назначать отношения между ними. На данном этапе разработки указываются атрибуты линий, создаются лейнлеты (дорожные полосы) и назначаются регуляционные элементы. Программа обладает удобным функционалом для работы с примитивами, позволяет быстро копировать атрибуты и редактировать существующие элементы. Интерфейс инструмента показан на рисунке 10.
Данная методология является мобильной, что означает, что она может применяться не только в городе, но и в условиях бездорожья, на воде или при съемке поверхности с воздуха. Информативность семантических карт может меняться в зависимости от среды использования, но инструменты создания карты остаются такими же. Однако подход не
является универсальным для всех сенсоров: у устройств разных производителей отличаются драйверы и внутренние параметры, и поэтому их предварительная настройка, калибровка, синхронизация по времени и адаптация под подход LIO-SAM может отличаться в зависимости от конкретного набора сенсоров, но все эти действия включены в пункт методологии, а все остальные этапы остаются без изменений.
о
а
®
о
Рисунок 10 - Интерфейс среды разработки Java Open Street Map: 1 - вид карты; 2 - заглавное меню; 3 - инструменты работы файлов и основные шаблоны, включающие шаблоны примитивов lanelet2;
4 - панель инструментов; 5 - панель измерительных инструментов; 6 - панель слоев и подложек; 7 - панель атрибутов; 8 - панель выделения и редактирования элементов;
9 - панель отношений между объектами Источник: Java Open Street Map [27].
Figure 10 - Java Open Street Map interface: 1 - Map view, 2 - main menu, 3 - File operation tools and basic template, 4 - toolbar, 5 - measuring tools panel, 6 - Layers panel, 7 - Attributes panel, 8 - selection panel, 9 - panel of relations between objects. Source: Java Open Street Map [27].
Рисунок 11 - Зона проведения экспериментов -
г. Иннополис Источник: спутниковый снимок.
Figure 11 - Testing zone (Innopolis city) Source: satellite shot.
РЕЗУЛЬТАТЫ
Эффективность описанной выше методологии проверяется экспериментально исходя из критериев качества, указанных ранее. В рамках экспериментальной части приводится реализация методологии для создания HD-карты г. Иннополиса. Цель проектирования карты - предоставление информации для модулей прогнозирования, локализации и планирования.
Описание условий испытаний. Дорожная зона представлена несколькими кварталами, которые можно объехать по замкнутой траектории (рисунок 11). Особенностями зоны являются полное отсутствие светофоров и наличие участков с круговым движением. Географическая зона MGRS - 39U UB.
Транспортное средство Hyundai Santa FE изображено на рисунке 12. Автомобиль оснащен модулем на крыше, к которому подключены сетевое устройство, лидар и приемник GPS.
На рисунке 13 показаны используемые сенсоры для сбора лидарной карты.
Инерциальное устройство IMU Xsens-GTi-710 располагается в багажнике автомобиля. Лидарное устройство Velodyne VLP32 с 32 лазерными лучами установлено над модулем на крыше и наклонено вперед на небольшой угол для покрытия дороги впереди транспортного средства. Приемник GPS сигнала «Ори-ент» установлен в модуль на крыше. Приемник обменивается данными с наземной станцией, которая находится в здании для уточнения сигнала.
Рисунок 12 - Беспилотный автомобиль Hyundai Santa FE с набором сенсоров для проведения испытаний Источник: составлено авторами.
Figure 12 - Autonomous vehicle Hyundai Santa FE with sensor kit for testing Source: compiled by authors.
Сенсоры после установки в автомобиль были откалиброваны: просчитаны и убраны шумы в инерциальном устройстве, найдена относительная трансформация между лида-ром и IMU, а также настроен режим приема и обработки поправок по позиции у приемника GPS для обеспечения точности в 30 см. Все вычисления проводятся на локальном компьютере, установленном в багажнике автомобиля. Программное обеспечение для работы с сенсорами и алгоритмом LIO-SAM выполняется в ROS1 и ROS2 (Robotics Operating System) [28, 29], а также были использованы программные компоненты комплекса технологий в открытом доступе Autoware [30].
Рисунок 13 - Набор сенсоров для сбора лидарной карты: инерциальное устройство IMU Xsens-GTi-710 (слева), лидар Velodyne VLP32 (в центре) и приемник GPS сигнала «Ориент»(справа) Источник: составлено авторами.
Figure 5.3 - Sensor kit to build lidar map. IMU Xsens-GTi-710(on the left), Lidar Velodyne VLP32(in center), GNSS receiver "Orient"(on the right) Source: compiled by authors
Проведение испытаний для сбора карты. Для проведения экспериментов был составлен маршрут, состоящий из траекторий, показанных на рисунке 14.
Выбор такого маршрута обосновывается использованием фактора замкнутой траектории подхода LIO-SAM - повторный проезд роботизированного автомобиля по знакомой территории увеличивает точность расположения объектов вокруг него. Для срабатывания этого фактора необходимо повторение автомобилем положений, пройденных ранее, для этого хорошо подходят зоны с кольцевым движением. Если участок дороги имеет перекрестное движение - для замыкания траектории рекомендуется использовать только повороты -пересечение перекрестка напрямую из нового положения в старое приводит к образованию второго слоя карты, как будто эти дороги находятся друг над другом.
Рисунок 14 - Маршрут испытаний. Для обеспечения высокой точности и надежности выбираются замкнутые траектории, обозначенные цветом и цифрами 1, 2 и 3 соответственно Источник: составлено авторами.
Figure 14 - Test route. To ensure high accuracy and reliability, closed trajectories are selected - they are indicated with color and numbers 1, 2 and 3, respectively Source: compiled by authors.
При проведении испытаний также необходимо учитывать скорость автомобиля - большое ускорение и скорость могут повлиять на возникновение больших значений на этапе интегрирования данных инерциального устройства, что приводит к ошибке. Рекомендованная скорость движения - не более 20 км/ч.
Алгоритм убирает динамические объекты во время движения: машины, велосипедисты, мотоциклы, пешеходы и другие. Однако те же объекты в статике, например, автомобили на парковке, попадают в облако точек карты. При этом, если при повторном проезде по маршруту этот объект уже будет отсутствовать, он пропадет и на карте.
Чтобы карта приняла правильную ориентацию в пространстве по направлениям Север-Юг-Запад-Восток, необходимо активировать GPS фактор. Для срабатывания фактора GPS необходимо осуществить первоначальное движение для сравнения расхождений данных инерциального устройства и приемника GPS сигнала - после чего происходит выравнивание. Геопривязка осуществляется из начальной точки в проекции по MGRS зоне 39U UB. Полученная карта показана на рисунке 15.
Рисунок 15 - Глобальное лидарное облако точек, составляющее физический слой HD-карты Источник: составлено авторами.
Figure 15 - Global LIDAR pointcloud - physical layer of the
HD map
Source: compiled by the authors.
Разработка HD-карты. Карта с геопривязкой была загружена для работы в программе Vector Map Builder для отрисовки границ дорог. Для этого сначала создается пустая подложка Lanelet2 карты, в 3D-режиме расставляются точки на соответствующей высоте, а затем после переключения в 2D точки соединяются линиями. Пример построения геометрии дорог на повороте показан на рисунке 16.
Рисунок 16 - отрисовка геометрии дорог в Vector Map
Builder
Источник: составлено авторами.
Figure 16 - Design of the road boundaries Source: Compiled by the authors.
Далее карта была импортирована в инструмент JOSM, где разработана семантика дорог: здесь включены лейнлеты дорожных полос, парковочные зоны, автобусные остановки и другие элементы. Результат части семантической карты показан на рисунке 17.
Карта из рисунка 17 является конечным результатом, который содержит всю необходимую информацию для использования в задачах прогнозирования, локализации и планирования. Смещение относительно соот-
ветствующего участка подложки OSM демонстрирует существенную разницу в точности геопривязки с RTK и подложки Open Street Map. Кольцевая дорога в левом нижнем углу демонстрирует неоднозначность проектирования: данный участок содержит виртуальные лейнлеты (дорожные полосы), количество которых определяется проектировщиком, поэтому данная карта могла быть выполнена по-другому.
/ |
Миме/щлш
1
Рисунок 17 - Участок семантической карты, спроектированный в JOSM на фоне подложки Java Open Street Map Источник: составлено авторами.
Figure 17 - Semantic layer of HD map designed in JOSM with OSM map on the background Source: Compiled by authors.
ЗАКЛЮЧЕНИЕ
В данной статье была предложена методология создания HD-карт для беспилотного автомобиля, которая реализована на практике на примере разработки карты для г. Иннополи-са. Полученную карту можно использовать как источник информации для решения задач прогнозирования, планирования и локализации с высокой точностью. Уровень детализации карты соответствует актуальной ситуации на дороге, которая отличается от фото спутников и подложки Open Street Map.
Предложенная методология является универсальной для среды, в которой она используется: город, бездорожье, съемка поверхности с воздуха или воды, но требует предварительной настройки оборудования и знания географических свойств зоны испытаний.
Однако у данного подхода можно выделить ряд недостатков, которые могут быть исправ-
лены в будущем. Среди них можно выделить ограничение по скорости, точность геопривязки при длительном использовании, а также большая часть семантики разработана вручную, что может быть исправлено частичной автоматизацией процесса с применением методов машинного обучения.
СПИСОК ИСТОЧНИКОВ / REFERENCES
1. Liu S. et al. Creating autonomous vehicle systems. Synthesis Lectures on Computer Science. 2020. Т. 8. №. 2. P. i-216.
2. Ghallabi F. et al. LIDAR-Based road signs detection For Vehicle Localization in an HD Map // 2019 IEEE Intelligent Vehicles Symposium (IV). IEEE, 2019. P. 1484-1490.
3. Ma W. C. et al. Exploiting sparse semantic HD maps for self-driving vehicle localization // 2019 IEEE/ RSJ International Conference on Intelligent Robots and Systems (IROS). IEEE, 2019. P. 5304-5311.
4. Liu R., Wang J., Zhang B. High definition map for automated driving: Overview and analysis // The Journal of Navigation. 2020. Т. 73. №. 2. pp. 324-341.
5. Pannen D. et al. How to keep HD maps for automated driving up to date //2020 IEEE International Conference on Robotics and Automation (ICRA). IEEE, 2020. Pp. 2288-2294.
6. Jaulin L. Mobile robotics. John Wiley & Sons, 2019.
7. Wang S., Wu Z., Zhang W. An overview of SLAM // Proceedings of 2018 Chinese Intelligent Systems Conference. Springer, Singapore, 2019. pp. 673681.
8. Ko Y. et al. Key points estimation and point instance segmentation approach for lane detection // IEEE Transactions on Intelligent Transportation Systems. 2021.
9. Haklay M., Weber P. «Openstreetmap: User-generated street maps» IEEE Pervasive computing, т. 7, No 4, pp. 12-18, 2008.
10. Dupuis M., Strobl M., Grezlikowski H. «Open-drive 2010 and beyond - status and future of the de facto standard for the description of road networks» в Proc. of the Driving Simulation Conference Europe, 2010. pp. 231-242.
11. R. Okuda, Y. Kajiwara и K. Terashima, «A survey of technical trend of ADAS and autonomous driving,» в Technical Papers of 2014 International Symposium on VLSI Design, Automation and Test, IEEE, 2014. pp. 1-4.
12. Khan M. Q., Lee S. Gaze and eye tracking: Techniques and applications in ADAS // Sensors. 2019. Т. 19. №. 24. pp. 5540.
13. Poggenhans F., Pauls J.-H., Janosovits J. «Lanelet2: A high-definition map framework for the future of automated driving» в 2018 21st international conference on intelligent transportation systems (ITSC), IEEE, 2018. pp. 1672-1679.
14. Poggenhans F., J. Janosovits «Pathfinding and Routing for Automated Driving in the Lanelet2 Map
Framework» b 2020 IEEE 23rd International Conference on Intelligent Transportation Systems (ITSC), IEEE, 2020. pp. 1-7.
15. Ahmad N., Ghazilla R. A. R., Khairi N. M., Kasi V. «Reviews on various inertial measurement unit (IMU) sensor applications». International Journal of Signal Processing Systems. 2013. t. 1, No 2. pp. 256-262.
16. Zhang J., Singh S. «Low-drift and real-time lidar odometry and mapping» Autonomous Robots. 2017. t. 41, No 2. Pp. 401-416.
17. Fu H., Yu R. LIDAR scan matching in off-road environments // Robotics. 2020. T. 9. №. 2. P. 35.
18. Segal A., Haehnel D., Thrun S. General-ized-icp. Robotics: science and systems. 2009. T. 2. №. 4. Pp. 435.
19. Shan T., Englot B., Meyers D., Wang W., Ratti C., Rus D. «Lio-sam:Tightly-coupled lidar inertial odometry via smoothing and mapping,» b 2020 IEEE/ RSJ international conference on intelligent robots and systems (IROS), IEEE. 2020. pp. 5135—5142.
20. Berkane S., Tayebi A. Position, velocity, attitude and gyro-bias estimation from imu and position information // 2019 18th European Control Conference (ECC). IEEE. 2019. pp. 4028-4033.
21. Gentil C. Le, T. Vidal-Calleja u S. Huang, «3d lidar-imu calibration based on upsampled preintegrat-ed measurements for motion distortion correction» b 2018 IEEE International Conference on Robotics and Automation (ICRA), IEEE, 2018. Pp. 2149-2155.
22. Welch G. F. Kalman filter // Computer Vision: A Reference Guide. 2020. Pp. 1-3.
23. Slater J. A., S. Malys, «WGS 84-Past, present and future» b Advances in positioning and reference frames, Springer, 1998. pp. 1-7.
24. Grafarend E. «The optimal universal transverse Mercator projection» b Geodetic Theory Today, Springer, 1995. pp. 51—51.
25. Hager J. W., Fry L. L., Jacks S. S., Hill D. R. «Datums, ellipsoids, grids, and grid reference systems» DEFENSE MAPPING AGENCY HYDROGRAPHIC/ TOPOGRAPHIC CENTER WASHINGTON DC. 1992.
26. Tier IV. «Vector Map Builder» (2018), url: https://tools.tier4.jp/ feature/vector_map_builder_ll2 (accessed 11.09.2022).
27. O. source. «Java Open Street Map» (2014), url: https: // josm. openstreetmap.de (accessed 11.09.2022).
28. Maruyama Y., Kato S., T. Azumi, «Exploring the performance of ROS2» b Proceedings of the 13th International Conference on Embedded Software, 201. pp. 1-10.
29. Reke M., Peter D., Schulte-Tigges J. «A self-driving car architecture in ROS2» b 2020 International SAUPEC/RobMech/PRASA Conference, IEEE, 2020. pp. 1-6.
30. Raju V. M., Gupta V., Lomate S. Performance of open autonomous vehicle platforms: Autoware and Apollo // 2019 IEEE 5th International Conference for Convergence in Technology (I2CT). IEEE, 2019. pp. 1-5.
ВКЛАД СОАВТОРОВ
Родионов О. А. Вклад в общую работу составил 75%. Участвовал в разработке следующих разделов научной статьи: аннотации, введения, материалов и методов, результатов, заключения.
Рашид Б. Вклад в общую работу составил 25%. Участвовал в разработке следующих разделов научной статьи: аннотации, введения, результатов, заключения.
COAUTHORS' CONTRIBUTION
Oleg A. Rodionov. The contribution to the overall work is 75%. Participation in the development of the following sections of the scientific article: abstract, introduction, materials and methods, results, conclusion.
Rashid Bader. Contribution to the overall work was 25%. Participation in the development of the following
sections of the scientific article: abstract, introduction, conclusion.
ИНФОРМАЦИЯ ОБ АВТОРАХ
Родионов Олег Александрович - старший инженер отдела разработки систем распознавания лаборатории беспилотных технологий.
Бадер Рашид - руководитель отдела разработки систем распознавания лаборатории беспилотных технологий.
INFORMATION ABOUT THE AUTHORS
Oleg A. Rodionov - head engineer of the Recognition Systems Development Department of the Unmanned Technology Laboratory.
Bader Rasheed - head of the Recognition Systems Development Department of the Unmanned Technology Laboratory.
