ПРЯМОЙ СТЕРЕОПОДХОД ВИЗУАЛЬНОЙ ОДОМЕТРИИ, ОСНОВАННЫЙ НА ЛИНИЯХ ДЛЯ РЕШЕНИЯ ЗАДАЧИ SLAM Текст научной статьи по специальности «Математика»

Научно-образовательный журнал для студентов и преподавателей «StudNet» №5/2021

ПРЯМОЙ стереоподход визуальнои одометрии,

ОСНОВАННЫЙ НА ЛИНИЯХ ДЛЯ РЕШЕНИЯ ЗАДАЧИ SLAM

DIERECT STEREO APPROACHES OF VISUAL ODOMETRY FOR SOLVING

THE SLAM PROBLEM

Андреев Арк Михаилович, к.т.н, доцент кафедры "Компьютерные системы и сети", Московский государственный технический университет им. Н.Э. Баумана, г. Москва

Галичин Антон Николаевич, магистрант, Московский государственный технический университет им. Н.Э. Баумана, г. Москва

Galichin Anton Nikolaevich,, Graduate Student, Bauman Moscow State Technical University, Moscow, e-mail: galichin-anton@yandex.ru

Andreev Ark Mikhailovich, Associate Professor of the Department of Computer Science, Bauman Moscow State Technical University, Moscow, e-mail: arkandreev@gmail .com

Аннотация

В статье описывается алгоритм визуальной одометрии для оценки движения камеры от кадра к кадру по последовательным парам стереоизображений. Алгоритм отличается от большинства алгоритмов визуальной одометрии по двум ключевым аспектам: (1) он не делает никаких предварительных предположений о движении камеры, и (2) он работает с изображениями с плотным несоответствием, вычисленными с помощью отдельного стереофонического алгоритма. Этот алгоритм был протестирован на многих платформах, в том числе на колесных и ножковых транспортных средствах, и

оказался быстрым, точным и надежным. Алгоритм также применим для правильного выравнивания изображений также в вертикальном направлении.

Annotation

The article describes a visual odometry algorithm for assessing camera movement from frame to frame using sequential pairs of stereo images. The algorithm differs from most visual odometry algorithms in two key respects: (1) it does not make any preliminary assumptions about camera movement, and (2) it works with dense disparity images computed using a separate stereophonic algorithm. This algorithm has been tested on many platforms, including wheeled and leveled vehicles, and has proven to be fast, accurate and reliable. The algorithm is also applicable for correct alignment of images also in the vertical direction.

Ключевые слова: визуальная одометрия, стереоподход, оценка движения, задача локализации, математическое обоснование.

Keywords: visual odometry, stereo approach, motion estimation, localization problem, mathematical justification.

Введение

Визуальная одометрия (VO) определяется как процесс оценки движения робота (перемещение и вращение относительно системы отсчёта) путём наблюдения последовательности изображений его окружения. В последние годы было предложено много методов VO, которые можно разделить на монокулярные и стерео камерные методы. Эти методы затем дополнительно подразделяются на сопоставление признаков (сопоставление элементов в нескольких кадрах), отслеживание признаков (сопоставление элементов в соседних кадрах) и методы оптического потока (на основе интенсивности всех пикселей или конкретные области в последовательных изображениях). [1-3]

Подход основанный на линиях Этот подход представляет собой стереоподход на основе ключевых кадров, в котором в качестве входных данных используются выпрямленные стереоизображения и дополнительно синхронизированные значения IMU.[4,5]

В качестве предварительной обработки изображения выравниваются в соответствии с направлением силы тяжести, используя измерения 1Ми. Без измерений 1Ми подход также работает с изображениями, полученными с помощью камер с приблизительной гравитацией. Для каждого ключевого кадра обнаруживаются и сопоставляются линии, используя гравитационные стереоизображения. Если не удаётся сопоставить достаточное количество линий, дополнительно обнаруживаются и сопоставляются точечные объекты. Эта информация триангулируется и получается отображение видимой информации в 3Э. Новый ключевой кадр выбирается, когда фотометрические свойства изображений слишком сильно изменились или движение с последним ключевым кадром слишком велико. Для каждого изображения положение оценивается прямым выравниванием изображения: вся триангулированная информация предыдущего ключевого кадра проецируется в текущее изображение и оценивается положение, при минимизации фотометрической ошибки участков вокруг линий и точек. Кроме того, для каждого последовательного ключевого кадра проецируются линии и точки из предыдущего в текущий, чтобы повторно использовать уже вычисленную трёхмерную информацию, если обнаруживаются те же самые линии или точки.

Математическое обеспечение алгоритма.

Чтобы оценить позицию нового кадра изображения, учитывая, что изображение вокруг линий и точек из предыдущего ключевого кадра, мы минимизируем фотометрическую ошибку для измерения поворота х, применяя нелинейную оптимизацию наименьших квадратов. Мы сохраняем 3D-линии и точки фиксированными на этапе оптимизации, так как предполагаем, что уже получили точно триангулированную 3D-информацию от использования калиброванной стереосистемы.

Квадратичная фотометрическая ошибка определяется следующим образом:

п п

¿=1 ¿=1

где I ^{f(Pi) - это значение интенсивности позиции р, в ключевом кадре для выравнивания,

обозначает функцию изменчивости, которая преобразует точку рi ключевого кадра в текущее изображение

/ текущая интенсивность изображения. Эта функция вычисляет все п остаточных значений г,(для каждого пикселя ¿.

Чтобы уменьшить влияние выбросов, то есть областей с очень высокими остаточными значениями, используется функцию потери Коши. По соображениям производительности изменяются не все пиксели областей на изображении на изображение /, а только центральные верхнюю и нижнюю точки областей. Для остаточного вычисления затем сравниваются участки вокруг измененных точек в / с участками из . Это упрощение действительно для небольших затемнений и небольших движений между кадрами. Для всех участков изображения находится решение для х, которое минимизирует общую квадратичную фотометрическую ошибку:

1

£ = а^тт-Е(0 Минимум £ достигается, когда производная обращается в ноль:

п

дЕ V"1 дг,

Г2Ь^ = 0'°' = 1.....6)

Уравнение является нелинейным, поэтому решаем задачу итеративно. На каждой итерации текущее состояние линеаризуем, чтобы определить поправку Л % к вектору %:

Е(С + Д0~Е(0+ЖЖ

где /(£) - Якобиан матрицы Е(<0. Он имеет размер п X 6 с п в качестве числа остаточных значений и определяется как:

^^ ) д^ ■

Используя эту линеаризацию, задача может быть сформулирована как задача наименьших квадратов:

1

Ц = argmm-(/(OAf + Я(О).

Используем алгоритм Левенберга-Марквардта (Levenberg, 1944) (Marquardt, 1963) для решения линейной задачи наименьших квадратов, сформулированной в формуле выше. Объединив все уравнения получаем следующее уравнение:

жтж = -ж)т£ю

Эта система уравнений решается с помощью QR-разложения. Подставив уравнения получим формулу обновлённого положения камеры

Год = 7W • ПО

Где Г0, i - текущее положение, 70,fc/ - положение предыдущего фрейма, 7(<f) - движение камеры от предыдущего фрейма к текущему. Если бы измерения IMU, используемые для выравнивания силы тяжести изображений, были все время точными, проблема была бы сведена к глубине резкости 4, так как тогда поворот и смещение были бы постоянно 0. Однако, поскольку измерения IMU содержат ошибки, также поворот и смещение могут варьироваться. Поэтому эти показатели не фиксируются, а просто разрешаются небольшие повороты.

Несмотря на то, что участки вокруг линий не содержат много горизонтальной структуры, тех структур, что содержащейся в участках, достаточно для правильного выравнивания изображений также в вертикальном направлении.

Литература

1. Брюс Д. Лукас, Такео Канаде Методика итеративной регистрации изображений в приложении к стерео визуальной одометрии // Труды семинара по пониманию изображений

2. Сон Чжу Юн, Тэджунг Ким Развитие стереовизуальной одометрии на основе оптимизации фотограмметрических характеристик // Дистанционное зондирование. 2019.

3. Якоб Энгель, Йорг Штюклер и Даниэль Кремерс. Прямой метод широкого масштаба визуальной одометрии со стереокамерами. В IROS, 2015.

4. Халид Юсиф, Реза Хосейннежад Обзор визуальной одометрии и визуального SLAM: приложения к мобильной робототехнике // Интеллектуальные промышленные системы. 2015 г.

5. Шаши Поддар, Рахул Коттатх, Винод Карар Эволюция техник визуальной одометрии // Совет по авиационным исследованиям и развитию, 2018.

Literature

1. Bruce D. Lucas, Takeo Kanade An Iterative Image Registration Technique with an Application to Stereo Vision // Proceedings of Imaging Understanding Workshop. 1981. С. 121-130.

2. Sung-Joo Yoon, Taejung Kim Development of Stereo Visual Odometry Based on Photogrammetric Feature Optimization // Remote sensing. 2019.

3. Jakob Engel, Jörg Stückler, and Daniel Cremers. Large-scale direct slam with stereo cameras. In IROS, 2015.

4. Khalid Yousif, Reza Hoseinnezhad An Overview to Visual Odometry and Visual SLAM: Applications to Mobile Robotics // Intelligent Industrial Systems. 2015.

5. Shashi Poddar, Rahul Kottath, Vinod Karar Evolution of Visual Odometry Techniques // Aeronautical Research & Development Board. 2018.