Научная статья на тему 'АЛГОРИТМ КОМПЛЕКСИРОВАНИЯ НЕСКОЛЬКИХ ИСТОЧНИКОВ ДАННЫХ В ОБЩУЮ КАРТУ ЗАНЯТОСТИ'

АЛГОРИТМ КОМПЛЕКСИРОВАНИЯ НЕСКОЛЬКИХ ИСТОЧНИКОВ ДАННЫХ В ОБЩУЮ КАРТУ ЗАНЯТОСТИ Текст научной статьи по специальности «Компьютерные и информационные науки»

CC BY
142
22
i Надоели баннеры? Вы всегда можете отключить рекламу.
Ключевые слова
КАРТА ЗАНЯТОСТИ / ЛИДАР / РАДАР / ОБЛАКО ТОЧЕК / КОМПЛЕКСИРОВАНИЕ ДАННЫХ / ОБНАРУЖЕНИЕ ПРЕПЯТСТВИЙ / ДИНАМИЧЕСКИЙ ОБЪЕКТ / АВТОНОМНОЕ ДВИЖЕНИЕ

Аннотация научной статьи по компьютерным и информационным наукам, автор научной работы — Шепель Илья Олегович

В работе рассматривается проблема построения модели проходимости окружающего пространства в среде с большим количеством динамических объектов по данным от нескольких различных сенсоров. Целью работы является качественное улучшение алгоритма построения карты занятости путем добавления способа обработки данных как от существующих алгоритмов детектирования движущихся препятствий, так и от автомобильного радара миллиметрового диапазона. В исследовании решается задача объединения данных о статичном окружении и о динамических объектах в одну общую модель проходимости для дальнейшего планирования траектории движения. Представленная в статье модификация алгоритма способна комплексировать данные как карт занятости, построенных по трехмерному облаку точек от любого датчика, так и данные, представленные в виде массива трехмерных объектов с известными координатами, размерами и ориентацией. Комплексирование данных происходит на уровне построения карт занятости и не накладывает дополнительных требований на источник информации о динамических препятствиях. Алгоритм способен уточнять данные о позиции и размерах динамического объекта скоростью от радара, что позволяет планировать траекторию с учетом движения динамических объектов. Одновременное использование классического подхода к построению карт позволяет обнаруживать препятствия в случае ошибки алгоритма обнаружения динамических препятствий. Разработанный алгоритм работает в реальном масштабе времени на модуле Jetson AGX Xavier, и протестирован в реальных условиях на мобильной робототехнической платформе в автономном режиме. Сформулированы перспективные направления дальнейших исследований по улучшению представленного подхода.

i Надоели баннеры? Вы всегда можете отключить рекламу.
iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.
i Надоели баннеры? Вы всегда можете отключить рекламу.

ALGORITHM FOR COMPLEXING MULTIPLE DATA SOURCES INTO A SINGLE OCCUPANCY MAP

The paper deals with the problem of constructing a passability model of environment with a large number of dynamic objects based on data from several different sensors. The aim of the work is to improve the algorithm for constructing the occupancy map by adding data from both existing algorithms for moving obstacles detection and from millimeter-wave automotive radar. The study solves the problem of combining data on static environment and dynamic objects into one general passability model for further trajectory planning. The modification of the algorithm presented in the article is able to combine data from both occupancy maps based on a three-dimensional point cloud from any sensor such as lidar or radar, and arrays of bounding boxes of objects with known coordinates, sizes, and orientation. Data aggregation occurs at the level of building occupancy maps and does not impose requirements on the source of information about dynamic obstacles. The algorithm is able to refine the data on the position and size of the dynamic object by speed from the radar, which allows to plan the trajectory taking into account the movement of dynamic objects. The parallel use of the classical approach allows to detect obstacles in the event of an error in the output of the dynamic obstacle detection algorithm. The developed algorithm works in real time on the Jetson AGX Xavier module, and is tested in real conditions on a mobile robotic platform in autonomous mode. Promising directions for further research to improve the presented approach are formulated.

Текст научной работы на тему «АЛГОРИТМ КОМПЛЕКСИРОВАНИЯ НЕСКОЛЬКИХ ИСТОЧНИКОВ ДАННЫХ В ОБЩУЮ КАРТУ ЗАНЯТОСТИ»

21. Zhaolu T., Chuanqing G. A numerical algorithm for Lyapunov equations, J. Appl. Math. Comput, 2008, Vol. 202, No. 1, pp. 44-53.

22. Xiao-Lin L., Yao-Lin J. Numerical algorithm for constructing Lyapunov functions of polynomial differential systems, J. Appl. Math. Comput, 2009, Vol. 29, No. 1-2, pp. 247-262.

Статью рекомендовал к опубликованию д.т.н., профессор Н.И. Витиска.

Буланов Сергей Георгиевич - Ростовский государственный экономический университет; e-mail: bulanovtgpi@mail.ru; г. Таганрог, Россия; тел.: 89094369543; доцент.

Bulanov Sergei Georgievich - Rostov State University of Economics; e-mail: bulanovtgpi@mail.ru; Taganrog, Russia; phone: 89094369543; associate professor.

УДК 004.021 DOI 10.18522/2311-3103-2021-3-64-71

И.О. Шепель

АЛГОРИТМ КОМПЛЕКСИРОВАНИЯ НЕСКОЛЬКИХ ИСТОЧНИКОВ ДАННЫХ В ОБЩУЮ КАРТУ ЗАНЯТОСТИ

В работе рассматривается проблема построения модели проходимости окружающего пространства в среде с большим количеством динамических объектов по данным от нескольких различных сенсоров. Целью работы является качественное улучшение алгоритма построения карты занятости путем добавления способа обработки данных как от существующих алгоритмов детектирования движущихся препятствий, так и от автомобильного радара миллиметрового диапазона. В исследовании решается задача объединения данных о статичном окружении и о динамических объектах в одну общую модель проходимости для дальнейшего планирования траектории движения. Представленная в статье модификация алгоритма способна комплексировать данные как карт занятости, построенных по трехмерному облаку точек от любого датчика, так и данные, представленные в виде массива трехмерных объектов с известными координатами, размерами и ориентацией. Комплексирование данных происходит на уровне построения карт занятости и не накладывает дополнительных требований на источник информации о динамических препятствиях. Алгоритм способен уточнять данные о позиции и размерах динамического объекта скоростью от радара, что позволяет планировать траекторию с учетом движения динамических объектов. Одновременное использование классического подхода к построению карт позволяет обнаруживать препятствия в случае ошибки алгоритма обнаружения динамических препятствий. Разработанный алгоритм работает в реальном масштабе времени на модуле Jetson AGXXavier, и протестирован в реальных условиях на мобильной робототехнической платформе в автономном режиме. Сформулированы перспективные направления дальнейших исследований по улучшению представленного подхода.

Карта занятости; лидар; радар; облако точек; комплексирование данных; обнаружение препятствий; динамический объект; автономное движение.

I.O. Shepel

ALGORITHM FOR COMPLEXING MULTIPLE DATA SOURCES INTO A SINGLE OCCUPANCY MAP

The paper deals with the problem of constructing a passability model of environment with a large number of dynamic objects based on data from several different sensors. The aim of the work is to improve the algorithm for constructing the occupancy map by adding data from both existing algorithms for moving obstacles detection and from millimeter-wave automotive radar. The study solves the problem of combining data on static environment and dynamic objects into one general passability model for further trajectory planning. The modification of the algorithm presented in the article is able to combine data from both occupancy maps based on a three-

dimensional point cloud from any sensor such as lidar or radar, and arrays of bounding boxes of objects with known coordinates, sizes, and orientation. Data aggregation occurs at the level of building occupancy maps and does not impose requirements on the source of information about dynamic obstacles. The algorithm is able to refine the data on the position and size of the dynamic object by speed from the radar, which allows to plan the trajectory taking into account the movement of dynamic objects. The parallel use of the classical approach allows to detect obstacles in the event of an error in the output of the dynamic obstacle detection algorithm. The developed algorithm works in real time on the Jetson AGX Xavier module, and is tested in real conditions on a mobile robotic platform in autonomous mode. Promising directions for further research to improve the presented approach are formulated.

Occupancy map; lidar; radar; point cloud; data complexing; obstacle detection; dynamic object; autonomous movement.

Введение. В настоящее время активно развиваются автономные робототех-нические платформы (РТП) на базе небольших шасси, которые должны быть способны к безаварийному движению в пешеходных зонах с большим количеством движущихся объектов, например для решения задачи доставки последней мили или уборки улиц. Подобные РТП сталкиваются с рядом проблем: большинство существующих наборов данных ориентировано на сферу беспилотных автомобилей, современные алгоритмы обнаружения препятствий также требуют большого набора различных сенсоров и высоких вычислительных мощностей, характерных для больших платформ. Кроме того, эти алгоритмы ориентированы на применение на дорогах общего пользования, которые отличаются высокой структурированностью и детерминированным характером движения окружающих объектов. Пешеходные зоны характеризуются большей плотностью объектов, хаотичным движением и отсутствием разметки, что сокращает применимость алгоритмов из сферы беспилотного транспорта. Кроме того, каждый из существующих сенсоров, используемых в сфере беспилотного транспорта, имеет свои границы применимости: так видимость лидаров существенно ограничивается во время снега и дождя, а радары имеют меньший угол обзора и разрешающую способность, но при этом измеряют скорость движения объектов напрямую.

В работе описана модификация алгоритма построения карты занятости по облаку точек от лидара, радара и массиву объектов, которые представлены в виде ограничивающих параллелепипедов с известными координатами и ориентацией. Ключевые отличия разработанного алгоритма следующие:

♦ реализованный алгоритм работоспособен в реальном масштабе времени;

♦ в качестве входных данных может использоваться выход целого ряда алгоритмов определения динамических препятствий, входное облако точек также может генерироваться любым сенсором (как лидаром и радаром, так и стереокамерой);

♦ в случае ошибки алгоритма обнаружения динамического объекта препятствие размечается классическим алгоритмом построения карты занятости;

♦ скорость динамических объектов на карте уточняется с помощью радара, а их положение и размеры - по лидару.

Обзор существующих методов. Карта занятости [1] является одним из самых распространенных методов для построения модели проходимости и решения задачи автономного движения наземной РТП. Большинство методов используют лидар как единственный источник данных и рассчитаны на применение в беспилотном транспорте [2, 3], в то время как подходы для небольших роботов чаще используют стереокамеры [4]. Для детекции динамических объектов в карте занятости, как правило, используются изображения c камер и нейросетевые подходы [5, 6]. Другое семейство алгоритмов для обнаружения динамики также использует сверточные сети, но в качестве входа подаются классические карты занятости [7, 8]. В то же время конкурсы по обнаружению и трекингу трехмерных движущихся

объектов [9, 10] показывают, что подавляющее большинство наиболее точных методов используют данные лидара и выдают информацию в виде вектора с координатами, ориентацией и размерами объекта [11, 12]. При этом существующие методы построения моделей проходимости не используют подобные решения для обработки динамических объектов. Автомобильные радары миллиметрового диапазона также активно применяются в задачах обнаружения препятствий беспилотному транспорту [13]. При этом комплексирование происходит либо на уровне «сырых» данных [14, 15], что не позволяет перейти к общей модели проходимости для планирования траектории; либо используются сверточные сети [16 - 18], которые требуют больших вычислительных мощностей, что затрудняет их использование на небольших робототехнических платформах. Подходы, которые комплексируют данные на уровне карт препятствий также существуют, однако в построении самой карты, как правило, участвуют только данные от лидаров, а цветовая информация используется как дополнительная, например, для кластеризации объектов [19].

Алгоритм построения карты занятости. В работе рассматривается проблема построения карты занятости с учетом движения динамических препятствий. В качестве метода для определения ограничивающих параллелепипедов объектов был выбран Сейегро^ [20], как один из лучших по качеству и быстродействию на наборе данных nuScenes [10]. Детальное изучение таких подходов не входит в область интереса работы.

Рис. 12. Общая схема алгоритма

Представленный алгоритм (см. рис. 1) является развитием подхода, опубликованного автором в [21]. В оригинальной статье происходило объединение моментальных карт, синтезированных по данным от нескольких разнесенных в пространстве лидаров. В этой работе добавляется обработка облаков точек от радара и ограничивающих параллелепипедов объектов. Таким образом, на вход алгоритм может получать облака точек от радара, лидара, стереокамеры, а также массив векторов с информацией о динамических объектах, а на выходе алгоритм выдает общую карту проходимости.

Генерация карты проходимости происходит в два этапа. На первом этапе строятся моментальные карты проходимости, при этом каждая карта соответствует собственному источнику данных (дополнительно для динамической карты перед этим выполняется алгоритм построения ограничивающих параллелепипедов объектов). Разрешение, размеры, позиция и ориентация в пространстве всех моментальных карт

совпадает, что позволяет установить взаимно-однозначное соответствие между ячейками. Вся работа производится в локальных прямоугольных координатах, которые преобразуются из географических координат от источника одометрии. Центр всех моментальных карт совпадает с центром источника одометрии РТП, и при движении так же перемещается согласно т. н. подходу сворачиваемых карт [22].

Каждая ячейка моментальной карты вне зависимости от типа входных данных может пребывать в трех состояниях: быть свободной (pF), занятой препятствием (pO) или иметь неизвестный тип проходимости (pa). Точки из облака распределяются по ячейкам карты и сортируются по увеличению z координаты, затем каждой ячейке присваивается значение в соответствии с условием (1):

!р0, если а А /3

Pp. есл иу , (1)

ри,е сли5

где

a = K>lAzK — z±< tobs,

(2 = zi+1 — Zi> hUGV AZi~ z± < tobs,

Y = cell 6 r« ADcell < D{Jl,

S = cell 6 r« A Dcell > Д;£.

а определяет препятствия по порогу высоты tobs, в фильтрует нависающие препятствия по высоте РТП hUGv. После выделения всех ячеек-препятствий выполняется трассировка лучей. Лучи R = [г ^ .j = 1 .. . .N] строятся от координат сенсора на карте занятости c постоянным угловым разрешением, при этом измеряется расстояние до ближайшей ячейки-препятствия Docc. Все ячейки на этом луче до препятствия помечаются как свободные (условие у), а после как неизвестные (условие S). Все вероятности, присваиваемые ячейкам, подчиняются следующему соотношению: р0 > рu > рР. Изменение этих вероятностей влияет на скорость обновления статуса ячеек в накапливаемой карте, кроме того значения pO и pF для карты более «шумного» сенсора должны быть меньше соответствующих значений карты менее «шумного» сенсора.

Генерация карты с динамическими препятствиями производится с помощью простой проекции ограничивающих параллелепипедов на ячейки карты. В свою очередь ячейкам-препятствиям в моментальной карте по облакам точек радара присваивается соответствующее значение скорости. Дальнейшее объединение ячеек различных моментальных карт происходит на уровне накапливаемой карты.

Алгоритмы детекции и трекинга динамических объектов определяют скорость динамических объектов по серии кадров и опосредованно, в то время как радар измеряет скорость напрямую. Поэтому для выделения движущихся в настоящий момент объектов от потенциально динамических (например, остановившихся пешеходов) используются скорости от радара. Ячейки с ненулевой скоростью помечаются динамическими ( ), при этом все ячейки объекта на динамической карте объединяются с помощью алгоритма связных компонент. Для заполнения накапливаемой карты используется дискретный фильтр Байеса [2], правила обновления отличаются для динамических ячеек (2):

!1од—7,если dcell = 1,

1 "' (2) logMf + log-^т, иначе,

где М f ^^ - значение вероятности i-ой ячейки после t измерений, а р[ - значение вероятности соответствующей ячейки моментальной карты.

Объединение информации о динамических объектах и статических препятствиях на лидарной и радарной карте в одну общую модель проходимости упрощает процесс планирования траектории. Кроме того добавление отдельных правил обновления накапливаемой карты для динамических препятствий позволяет решить проблему «хвостов» - следов после нахождения в ячейке препятствия. Результат построения накапливаемой карты классическим алгоритмом и предложенной модификацией показан на рис. 2.

Рис. 13. Накапливаемая карта без комплексирования динамических объектов

(слева) и с ним (справа)

Экспериментальные результаты. Для тестирования алгоритма в реальных условиях на шасси Clearpath Husky A200 были установлены вычислители, в том числе Jetson AGX Xavier и система технического зрения (см. рис. 3). В её состав входят лидар Ouster OS1-32, радар миллиметрового диапазона на базе чипа Texas Instruments AWR1243, инерциальная спутниковая навигационная система Atlans-C, а также стереопара на базе камер Allied Vision Prosilica.

Взаимная калибровка лидара и камеры проводилась по методике, предложенной в работе [23], лидар и радар в свою очередь калибровались по алгоритму из [24]. Детальный обзор подобных методов также не входит в область интереса этой работы.

Рис. 14. Внешний вид экспериментальной РТП

Быстродействие алгоритма замерялось на платформе Jetson AGX Xavier (запущенной в режиме энергопотребления MAXN) и на десктопном компьютере c процессором Intel i7-10700K и видеокартой RTX 3070 на наборе данных, отснятых на робототехнической платформе суммарной длительностью около тридцати минут.

Среднее время работы всех компонентов алгоритма представлено в табл. 1. При этом построение моментальных карт происходит параллельно, поэтому при расчете суммарного времени используется самое большое время работы этих алгоритмов.

Таблица 1

Быстродействие компонент алгоритма

Компонент i7-10700K и RTX 3070 Jetson AGX Xavier

Мом. карта по лидару, мс 26 32

Мом. карта по радару, мс 19 22

Centerpoint и дин. карта, мс 38 109

Накапливаемая карта, мс 15 18

Суммарное время, мс 53 127

Выводы. В статье представлена модификация алгоритма построения карты занятости, комплексирующая информацию о динамических объектах и облака точек от радаров, лидаров или стереокамер. Разработанный алгоритм позволяет учитывать как статичное окружение, так и динамические объекты в общей модели проходимости. В случае использования автомобильного радара как источника облаков алгоритм комплексирования позволяет учитывать прямые измерения скорости объектов и уточнять данные о потенциально динамических объектах.

Предложенное решение протестировано на реальных данных и работает в реальном масштабе времени, в том числе и на экономичных и дешевых вычислителях, что позволяет использовать его на небольших РТП.

Существует несколько направлений развития предложенного подхода. Для решения задачи выделения динамических препятствий возможно использование семантически размеченных облаков точек как от лидаров так и от стереокамер, что позволит оснащать мобильные РТП только одним датчиком. Также в случае использования плотных облаков от стереокамер критерии определения ячеек-препятствий необходимо усовершенствовать для нахождения ям, крутых уклонов и т.д.

Благодарность. Экспериментальные исследования, в том числе оснащение робототехнической платформы и запись наборов данных, проведены совместно с ООО «ИнтеграНТ», г. Москва.

БИБЛИОГРАФИЧЕСКИЙ СПИСОК

1. Elfes A. Using occupancy grids for mobile robot perception and navigation // Computer.

- 1989. - Vol. 22, No. 6. - P. 46-57.

2. Jaspers H., Himmelsbach M., Wuensche H.J. Multi-modal local terrain maps from vision and lidar // 2017 IEEE Intelligent Vehicles Symposium (IV). - IEEE, 2017. - P. 1119-1125.

3. Huang J. et al. An online multi-lidar dynamic occupancy mapping method // 2019 IEEE Intelligent Vehicles Symposium (IV). - IEEE, 2019. - P. 517-522.

4. Xu L. et al. An occupancy grid mapping enhanced visual SLAM for real-time locating applications in indoor GPS-denied environments // Automation in Construction. - 2019. - Vol. 104.

- P. 230-245.

5. Wang Y. et al. A Fusion of Dynamic Occupancy Grid Mapping and Multi-object Tracking Based on Lidar and Camera Sensors // 2020 3rd International Conference on Unmanned Systems (ICUS). - IEEE, 2020. - P. 107-112.

6. Eppenberger T. et al. Leveraging Stereo-Camera Data for Real-Time Dynamic Obstacle Detection and Tracking // arXiv preprint arXiv:2007.10743. - 2020.

7. Mohajerin N., Rohani M. Multi-step prediction of occupancy grid maps with recurrent neural networks // Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. - 2019. - P. 10600-10608.

8. Schreiber M., Hoermann S., Dietmayer K. Long-term occupancy grid prediction using recurrent neural networks // 2019 International Conference on Robotics and Automation (ICRA).

- IEEE, 2019. - P. 9299-9305.

9. Geiger A., Lenz P., Urtasun R. Are we ready for autonomous driving? the kitti vision benchmark suite // 2012 IEEE Conference on Computer Vision and Pattern Recognition. - IEEE, 2012. - P. 3354-3361.

10. Caesar H. et al. Nuscenes: A multimodal dataset for autonomous driving // Proceedings of the IEEE/CVF conference on computer vision and pattern recognition. - 2020. - P. 11621-11631.

11. He Y. et al. Know Your Surroundings: Panoramic Multi-Object Tracking by Multimodality Collaboration // Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. - 2021. - P. 2969-2980.

12. Wu H. et al. 3D Multi-Object Tracking in Point Clouds Based on Prediction Confidence-Guided Data Association // IEEE Transactions on Intelligent Transportation Systems. - 2021.

13. Belyaev A.A. et al. Object Detection in an Urban Environment Using 77GHz Radar // 2019 Radiation and Scattering of Electromagnetic Waves (RSEMW). - IEEE, 2019. - P. 436-439.

14. Wang T. et al. Integrating millimeter wave radar with a monocular vision sensor for on-road obstacle detection applications // Sensors. - 2011. - Vol. 11, No. 9. - P. 8992-9008.

15. Meyer M., Kuschk G. Deep learning based 3d object detection for automotive radar and camera // 2019 16th European Radar Conference (EuRAD). - IEEE, 2019. - P. 133-136.

16. Chavez-Garcia R.O., Aycard O. Multiple sensor fusion and classification for moving object detection and tracking // IEEE Transactions on Intelligent Transportation Systems. - 2015.

- Vol. 17, No. 2. - P. 525-534.

17. Chang S. et al. Spatial Attention fusion for obstacle detection using mmwave radar and vision sensor // Sensors. - 2020. - Vol. 20, No. 4. - P. 956.

18. John V., Mita S. RVNet: deep sensor fusion of monocular camera and radar for image-based obstacle detection in challenging environments // Pacific-Rim Symposium on Image and Video Technology. - Springer, Cham, 2019. - P. 351-364.

19. Oh S.I., Kang H.B. Fast occupancy grid filtering using grid cell clusters from LIDAR and stereo vision sensor data // IEEE Sensors Journal. - 2016. - Vol. 16, No. 19. - P. 7258-7266.

20. Yin T., Zhou X., KrahenbuhlP. Center-based 3d object detection and tracking // arXiv preprint arXiv:2006.11275. - 2020.

21. Шепель И.О. Модифицированный алгоритм построения карты занятости по облаку точек от нескольких лидаров // Программные продукты и системы. - 2020. - Т. 33, № 2.

22. Kelly A., Stentz A. Rough terrain autonomous mobility-part 2: An active vision, predictive control approach // Autonomous Robots. - 1998. - Vol. 5, No 2. - P. 163-198.

23. Абраменко А.А. Калибровка взаимного расположения стереокамеры и трехмерного сканирующего лазерного дальномера // Компьютерная оптика. - 2019. - Т. 43, № 2.

24. Lee C. L. et al. Extrinsic and temporal calibration of automotive radar and 3D LiDAR // 2020 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS). - IEEE, 2020.

- P. 9976-9983.

REFERENCES

1. Elfes A. Using occupancy grids for mobile robot perception and navigation, Computer, 1989, Vol. 22, No. 6, pp. 46-57.

2. Jaspers H., Himmelsbach M., Wuensche H.J. Multi-modal local terrain maps from vision and lidar, 2017 IEEE Intelligent Vehicles Symposium (IV). IEEE, 2017, pp. 1119-1125.

3. Huang J. et al. An online multi-lidar dynamic occupancy mapping method, 2019 IEEE Intelligent Vehicles Symposium (IV). IEEE, 2019, pp. 517-522.

4. Xu L. et al. An occupancy grid mapping enhanced visual SLAM for real-time locating applications in indoor GPS-denied environments, Automation in Construction, 2019, Vol. 104, pp. 230-245.

5. Wang Y. et al. A Fusion of Dynamic Occupancy Grid Mapping and Multi-object Tracking Based on Lidar and Camera Sensors, 2020 3rd International Conference on Unmanned Systems (ICUS). IEEE, 2020, pp. 107-112.

6. Eppenberger T. et al. Leveraging Stereo-Camera Data for Real-Time Dynamic Obstacle Detection and Tracking, arXiv preprint arXiv:2007.10743, 2020.

7. Mohajerin N., Rohani M. Multi-step prediction of occupancy grid maps with recurrent neural networks, Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2019, pp. 10600-10608.

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.

8. Schreiber M., Hoermann S., Dietmayer K. Long-term occupancy grid prediction using recurrent neural networks, 2019 International Conference on Robotics and Automation (ICRA). IEEE, 2019, pp. 9299-9305.

9. Geiger A., Lenz P., Urtasun R. Are we ready for autonomous driving? the kitti vision benchmark suite, 2012 IEEE Conference on Computer Vision and Pattern Recognition. IEEE, 2012, pp. 3354-3361.

10. Caesar H. et al. Nuscenes: A multimodal dataset for autonomous driving, Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, 2020, pp. 11621-11631.

11. He Y. et al. Know Your Surroundings: Panoramic Multi-Object Tracking by Multimodality Collaboration, Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2021, pp. 2969-2980.

12. Wu H. et al. 3D Multi-Object Tracking in Point Clouds Based on Prediction Confidence-Guided Data Association, IEEE Transactions on Intelligent Transportation Systems, 2021.

13. Belyaev A.A. et al. Object Detection in an Urban Environment Using 77GHz Radar, 2019 Radiation and Scattering of Electromagnetic Waves (RSEMW). IEEE, 2019, pp. 436-439.

14. Wang T. et al. Integrating millimeter wave radar with a monocular vision sensor for on-road obstacle detection applications, Sensors, 2011, Vol. 11, No. 9, pp. 8992-9008.

15. Meyer M., Kuschk G. Deep learning based 3d object detection for automotive radar and camera, 2019 16th European Radar Conference (EuRAD). IEEE, 2019, pp. 133-136.

16. Chavez-Garcia R.O., Aycard O. Multiple sensor fusion and classification for moving object detection and tracking, IEEE Transactions on Intelligent Transportation Systems, 2015,

17. Vol. 17, No. 2, pp. 525-534.

18. Chang S. et al. Spatial Attention fusion for obstacle detection using mmwave radar and vision sensor, Sensors, 2020, Vol. 20, No. 4, pp. 956.

19. John V., Mita S. RVNet: deep sensor fusion of monocular camera and radar for image-based obstacle detection in challenging environments, Pacific-Rim Symposium on Image and Video Technology. Springer, Cham, 2019, pp. 351-364.

20. Oh S.I., Kang H.B. Fast occupancy grid filtering using grid cell clusters from LIDAR and stereo vision sensor data, IEEE Sensors Journal, 2016, Vol. 16, No. 19, pp. 7258-7266.

21. Yin T., Zhou X., Krähenbühl P. Center-based 3d object detection and tracking, arXiv preprint arXiv:2006.11275, 2020.

22. Shepel' I.O. Modifitsirovannyy algoritm postroeniya karty zanyatosti po oblaku tochek ot neskol'kikh lidarov [A modified algorithm for constructing an employment map based on a point cloud from several lidars], Programmnye produkty i sistemy [Software products and Systems], 2020, Vol. 33, No 2.

23. Kelly A., Stentz A. Rough terrain autonomous mobility-part 2: An active vision, predictive control approach, Autonomous Robots, 1998, Vol. 5, No. 2, pp. 163-198.

24. Abramenko A.A. Kalibrovka vzaimnogo raspolozheniya stereokamery i trekhmernogo skaniruyushchego lazernogo dal'nomera [Calibration of the relative position of a stereo camera and a three-dimensional scanning laser rangefinder], Komp'yuternaya optika [Computer optics], 2019, Vol. 43, No. 2.

25. Lee C. L. et al. Extrinsic and temporal calibration of automotive radar and 3D LiDAR, 2020 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS). IEEE, 2020, pp. 9976-9983.

Статью рекомендовал к опубликованию к.т.н., доцент Т.А. Суанов.

Шепель Илья Олегович - Южный федеральный университет; e-mail: chepsiilya@gmail.com; г. Москва, Россия; тел.: +79281906038; кафедра математического обеспечения и применения ЭВМ; аспирант.

Shepel Ilya Olegovich - Southern Federal University; e-mail: chepsiilya@gmail.com; Moscow, Russia; phone: +79281906038; the department of mathematical support and computer applications; post-graduate.

i Надоели баннеры? Вы всегда можете отключить рекламу.