CC BY
31
Метод оценки параметров движения камеры по малому числу соответствующих точек с использованием кватернионов
Е.В. Гошин1, А.П. Котов1,2 1 Самарский национальный исследовательский университет имени академика С.П. Королёва, 443086, Россия, г. Самара, Московское шоссе, д. 34 2 ИСОИ РАН - филиал ФНИЦ «Кристаллография и фотоника» РАН, 443001, Россия, г. Самара, ул. Молодогвардейская, д. 151,
Аннотация
В настоящей работе исследуются методы определения параметров движения камеры по набору соответствующих точек. В отличие от традиционного подхода, соответствующие точки в настоящей работе используются не для определения фундаментальной матрицы, а непосредственно для определения параметров съёмки. Кроме того, в настоящей работе используется модель формирования разноракурсных изображений, основанная на представлении трёхмерных изображений и параметров съёмки в виде кватернионов. В настоящем исследовании приведены варианты реализации предложенного метода, в том числе с отбором наиболее свободных от шума соответствий с использованием метода RANSAC. В исследовании приведены результаты эксперимента на тестовых наборах «Middlebury» и «ETH3D», представляющих собой набор изображений с зафиксированными точными значениями параметров съёмки. С использованием разработанной на языке Python программы проведён сравнительный эксперимент по оценке точности и надёжности оценок, полученных с помощью предложенного метода, в условиях малого числа соответствующих точек и малой глубины сцены. В ходе экспериментальных исследований было показано, что в поставленных условиях надёжность определения параметров с использованием предложенного метода значительно превышает надёжность традиционных методов оценки параметров движения, основанных на вычислении фундаментальной матрицы.
Ключевые слова: эпиполярная геометрия, кватернионы, параметры движения камеры.
Цитирование: Гошин, Е.В. Метод оценки параметров движения камеры по малому числу соответствующих точек с использованием кватернионов / Е.В. Гошин, А.П. Котов // Компьютерная оптика. - 2020. - Т. 44, № 3. - С. 446-453. - DOI: 10.18287/2412-6179-CO-683.
Citation: Goshin YeV, Kotov AP. Method for camera motion parameters estimation from a small number of corresponding points using quaternions. Computer Optics 2020; 44(3): 446-453. DOI: 10.18287/2412-6179-C0-683.
Введение
Задача определения изменения положения и ориентации камеры [1] широко применяется в таких областях, как наземное ориентирование [2], навигация беспилотных летательных аппаратов [3], построение панорам изображений [4], а также в технологиях восстановления и анализа трёхмерных сцен [5, 6].
Для повышения надёжности ориентирования часто используются гибридные системы, содержащие гиростабилизатор. Визуальная информация, получаемая с монокулярной камеры, комбинируется с информацией о положении гибридной системы в пространстве в виде начального приближения [7]. Такого рода системы активно применяются в системах дополненной и виртуальной реальности [8].
Визуальная информация может быть неинформативной из-за размытости вследствие быстрого движения камеры или низкого качества исходных снимков, а также в случае маленького перекрытия изображений [9]. Для преодоления вышеуказанных трудностей в
статье [9] применяют методы построения карты диспа-рантности. Однако даже если вышеуказанные проблемы отсутствуют, точность определения параметров с помощью стандартных методов не гарантирует надёжное определение существенной матрицы [10]. Авторы отмечают, что нахождение соответствий на изображениях достаточно сильно влияет на определение параметров, и предлагают метод IGVSAC на основе RANSAC, использующий начальное приближение в виде кватерниона. Задача одометрии обычно решается с помощью нелинейной оптимизации, например, [11, 12]. Кроме этого, в последнее время популярны методы, использующие модификации SLAM [13, 14] и методы машинного обучения [15, 16].
Таким образом, актуальна задача разработки алгоритмов, позволяющих по малому набору данных [17] выполнять надёжное и точное определение параметров движения.
В качестве исходных данных (при отсутствии информации о перемещении аппарата) выступают изображения, полученные с различных ракурсов. Тради-
ционно задача оценки параметров поворота и сдвига сводится к определению так называемой фундаментальной матрицы и последующему вычислению искомых матриц [18]. Однако использование такого подхода обладает рядом недостатков. В частности, когда большая часть предварительно определённых на изображениях точек расположена на одной плоскости, определение фундаментальной матрицы сопряжено с серьёзными погрешностями, что, в свою очередь, ведёт к ошибкам в определении параметров съёмки.
Кроме того, задание поворота с использованием фундаментальной матрицы порождает избыточность данных и неоднозначность представления [19]. Наличие вышеописанных недостатков порождает сложности в реализации предложенного метода.
В отличие от традиционного подхода, соответствующие точки в настоящей работе используются не для определения фундаментальной матрицы, а непосредственно для определения (внешних и внутренних) параметров съёмки. Кроме того, в работе используется модель формирования разноракурсных изображений, основанная на представлении трёхмерных изображений и параметров съёмки в виде кватернионов.
Настоящая работа является расширением и обобщением работы [20]. В настоящем исследовании приведены варианты реализации предложенного метода, в том числе с отбором наиболее свободных от шума соответствий с использованием метода ЯА^АС. Кроме того, в отличие от предыдущего, в настоящем исследовании приведены результаты эксперимента на тестовом наборе «Middlebшy» [21], представляющем собой набор изображений с зафиксированными точными значениями параметров съёмки.
Предлагаемый метод решения задачи
В настоящей работе используется модель камеры-обскуры, задающая связь между точками в трёхмерном пространстве и координатами их проекций на изображениях [18] следующим образом:
V 1 У
= К
V 1 У
где
Г х ^
V1У
:[И||]
Г X ^ У
г 1
Здесь (X, У, I) - координаты точки в трёхмерном пространстве; (х,у) - координаты этой точки на плоскости проекции камеры; (и, V) - координаты соответствующего пиксела на изображении, регистрируемом этой камерой; К - известная матрица внутренних параметров камеры; Я и ] - матрица поворота и вектор сдвига соответственно, а знак «да» обозначает отношение пропорциональности, т. е. равенство левой и правой частей с точностью до масштаба.
Задача состоит в определении параметров сдвига и поворота камеры по заданным координатам N пар
соответствующих точек т (х,у) и т (х', у') на двух изображениях
т = (х у 1)Г ж[X У I ] ,
т' = ( у' 1)Т «[ы|]][х у г]т,
в предположении, что глобальная система координат связана с первой камерой, поэтому параметры второй камеры Я и ] являются искомыми параметрами поворота и сдвига соответственно.
В настоящей работе для описания параметров движения используется инструмент кватернионов. Кватернион q (1) представляет собой упорядоченную четверку вещественных чисел (д1, q2, q3, q4) и может быть определён как формальная сумма:
q = qo + q\i+q2 ]+qзk, (1)
где I,], к - мнимые единицы со следующим свойством:
I2 = ]2 = к2 = 1]к = -1. (2)
Для любой точки пространства вектор, связывающий начало координат и эту точку, может быть описан с помощью кватерниона: V = (0, X, У, I).
Для того, чтобы выполнить поворот вектора (X, У, I), описываемого кватернионом V, на угол 6 е [0, л] вокруг оси, направление которой задает единичный вектор и = (их, иУ, иг), необходимо выполнить следующую операцию:
V = 1 :
(3)
где - кватернион поворота.
Идея работы состоит в том, чтобы определить параметры поворота и сдвига камер в глобальной системе координат непосредственно по заданным соответствующим точкам видов, используя кватернионы в качестве инструмента описания этих параметров.
Рассмотрим выражение
(т') £т = (т'У ]хт. Преобразуем его следующим образом (т ')Т Я[/]х т = (ЯТт')Т [/]х т
(4)
и перейдём к представлению векторов т и т' в виде кватернионов
т
т
^ т,
= (0, х, у,1),
^ т
:=(0, х, у ,1).
Тогда умножение матрицы Я на вектор ш' представляет собой следующее произведение кватернионов:
Г mrq,
где г, = (го, гх, Гу, г2) - кватернион поворота, соответствующий матрице Я, связь между которыми определяется выражением:
R
r02 + rX - ry - rZ 2 (rxry - r0rz ) 2 (rr + r0ry )
2(rr+ r0r) r02 -r2 + r2 -r2 2(r r -r0r)
\xy 0 z ) 0 x y z \ y z 0 x/
2 (z - r0ry ) 2 (z + r0r ) r02 - rl - r + r
Матрица [t]x имеет вид:
В силу того, что первые координаты векторов, умножаемых слева и справа, равны нулю, эта матрица без потери общности выражения (4) может быть расширена до матрицы
0 К -ty
Ч 0 *х
К -tx 0
0 -tx -ty -tz
tx 0 tz -ty
ty -tz 0 tx
h ty -tx 0
[t] =
и может быть представлена в виде кватерниона:
=( а ¡х, ¡у, ).
Эпиполярное ограничение для существенной матрицы приобретает вид:
(rqтГд*К , m') = 0.
(5)
Для N соответствующих точек система принимает
вид
(Гдт1ГХ ' m0 = 0' (Гдт2ГХ ' m2) = 0
(6)
rm n r* , mN) = 0.
При этом следует отметить две особенности. Во-первых, в силу того, что в правой части уравнения нули, первый параметр г, = (г, гх, Гу, г2) может быть приравнен к единице без потери общности с последующей нормализацией полученного кватерниона. Во-вторых, решение I, = (0, 0, 0, 0) является тривиальным и, очевидно, не подходящим для нашей задачи, поэтому в систему добавляется уравнение
К + Г + с -1 = 0.
(7)
Оптимизационная задача приобретает вид: !(г, ш,. гХ, ш;)+¡х + + ¡2 -1=0. (8)
I
В приведённой выше постановке задачи (5) может быть произведена следующая замена
= г,1,.
Тогда для одной пары соответствующих точек уравнение выглядит как
(ГдЧ , m') = 0,
а система принимает вид
(rqmiSq , m^ = 0,
(9)
Гдm2Sq , m2) = 0,
(10)
(rqmNSq , mN) = 0.
В этом случае кватернион sq имеет четыре ненулевые компоненты, поэтому дополнительное уравнение, аналогичное (7), принимает вид:
s02 + s2 + s] + s32 -1 = 0 .
Оптимизационная задача приобретает вид:
£(Г^;Sq , m;) + t2 + t] + t] - 1 = 0. (11)
i
Стоит обратить внимание, что аналогичный результат был получен в работе [20] на основе других соображений.
Поскольку в явном виде в результате решения этой системы компоненты кватерниона tq не вычисляются, необходимо выразить tq через rq и Sq.
Для этого можно формально записать выражение
1 q = (Sq Г
»2
) =
однако в этом случае первая компонента кватерниона ¡,, вообще говоря, не равна нулю, поэтому более корректным будет вычисление кватерниона ¡, с использованием системы линейных уравнений относительно его параметров:
rxtx + ryty + rztz = s0, -r0tx + rzty - rytz = S
rytx - rxty - r0tz = S3-
(12)
Описание технологии
На данный момент в задаче выделения характерных особенностей наиболее популярны методы SURF [22] и ORB [23]. Существуют и другие методы, но их
применение сопряжено со следующими трудностями, например, метод SIFT [24] является более вычислительно сложным по сравнению с SURF, который, в свою очередь, вычислительно сложнее ORB. В практических задачах, особенно в условиях оперативного определения параметров движения, данное условие может стать решающим при выборе метода. Вышеописанные методы доступны в открытой библиотеке OpenCV [25].
Принцип отбора соответствий в предлагаемой технологии заключается в следующих этапах:
1. Поиск ключевых точек для каждой пары разнора-курсных изображении и вычисление их дескрипторов.
2. Сопоставление дескрипторов с использованием полного перебора, то есть для выбранного дескриптора на одном изображении вычисляется мера близости для каждого дескриптора на другом.
3. Сортировка найденных мер близости по убыванию.
4. Первые выбранные N соответствий используются для вычисления параметров движения.
Рис. 1. Пример изображения из последовательности «Ото» (набора «Middlebury»)
В результате формируется два набора соответствующих точек на изображениях Р = (и,, V,), Р' = (и/, V/), где (и,, V,) и (и/, V,) - координаты этих точек на первом и втором изображениях соответственно. При известной матрице внутренних параметров камеры К координаты пикселов изображений (и,, V,), (и/, V,) могут быть преобразованы в координаты (х,, у,) и (х/, у/) на плоскости проекции первой и второй камеры соответственно с использованием следующего преобразования:
V 1 J
= K-
V1 J
Традиционный подход к определению положения и ориентации в пространстве включает в себя этап поиска фундаментальной матрицы [10] и состоит из следующих этапов.
1. Вычисление фундаментальной матрицы.
2. Вычисление существенной матрицы.
3. 8УБ-разложение существенной матрицы.
4. Вычисление матрицы поворота и вектора смещения.
Фундаментальная матрица - это матрица, удовлетворяющая следующему требованию:
(m')TFm = ( y' 1)
{ f
Jw /21 V f31
/12 /22 /32
fn
/23 /33 J
v x >\
y 1
Она может быть найдена с использованием восьмиточечного алгоритма [18] по набору заранее заданных соответствующих точек. С использованием фундаментальной матрицы при известной матрице внутренних параметров съёмки К может быть найдена так называемая существенная матрица:
8 = КТРК.
Традиционный подход основан на выполнении сингулярного разложения существенной матрицы, которое даёт следующее выражение:
8 = ихуТ,
где и и V - ортогональные матрицы, а Е - диагональная матрица следующего вида:
(
£ =
0 0 ^ 0 5 0 0 0 0
Два диагональных значения Е должны быть равны между собой, а третье - равно нулю.
Если определить матрицу W следующим образом:
Г 0 -10 ^ Г 010 ^
W =
W-1 = WT =
-1
0
тогда
[t]х = VWEVT , R = UW-1VT
где
Г 0 tz -tr ^ rt ^ x
[t]x = -tz 0 tx , t = tr
V tr -tx 0 J V tZ J
Поскольку Е может не вполне удовлетворять требованиям равенства диагональных значений, в качестве альтернативы обычно используется следующее выражение:
[t]х = VZVT , где Z =
Г 0 -1 0
0 ^
0
0
В предложенном в настоящей работе методе параметры движения камеры вычисляются напрямую посредством решения системы (6) или последовательного решения систем (10) и (12).
В качестве алгоритма, устойчивого к выбросам, использовался ЯАК8АС. Число различных подвыбо-рок для определения модели (гипотезы) в алгоритме ЯА^АС определяется числом:
Г u ^
N =
1оИ (1 - Р ) 1СЕ (1 - (1 - е)т )
где р = 0,99 - вероятность, что подвыборка не содержит выбросов, е - вероятность, что выбранная пара соответствующих точек определена неверно (является выбросом), т - число искомых параметров.
Исходя из предположения, что в исходных данных не более чем 20 % выбросов (е = 0,2), для двух случаев решения задачи с помощью метода ЯА№АС использовались следующие значения т [18]. В случае, если задача решается относительно кватернионов гч и tq, имеем т = 6, для задачи, решаемой относительно кватернионов гч и а; , значение т = 7. Для описанных случаев число итераций N = 16 и N = 20 соответственно.
Для данной задачи эмпирическим путём установлено, что предпочтительная гипотеза определяется следующим алгоритмом.
Алгоритм для детектирования выбросов основан на методе ЯАШАС.
1. Определение числа итераций N. Далее этапы выполняются для каждой итерации.
2. Формирование подвыборки, состоящей из т соответствий (пар соответствующих точек), случайным образом.
3. Вычисление модели определения параметров с помощью метода Левенберга-Марквардта [26] по т соответствиям.
4. Определение числа пар соответствующих точек, удовлетворяющих модели, по заданному порогу.
5. Если число пар соответствующих точек, удовлетворяющих модели, больше чем на предыдущих итерациях или равно ему, то для найденной модели рассчитывается мера, как среднее арифметическое невязок. Если вычисленная мера меньше, чем мера для моделей, найденных на предыдущих итерациях, то новая модель принимается как лучшая.
Экспериментальное исследование точности и надёжности определения параметров
Для проверки точности и надёжности разработанной вычислительной процедуры был проведён эксперимент по установлению взаимосвязи ошибки входных данных (координат точек на плоскостях камер) и погрешности полученных оценок поворота и сдвига.
Набор данных [21] представляет собой серию из 363 предварительно откалиброванных изображений размером 640*480 пикселей и сопутствующей информации о параметрах движения камеры, а также внутренних параметрах камеры. Регистрация снимков выполнена при известных значениях поворота и смещений камеры по поверхности полусферы. Информация о повороте камеры задаётся матрицей поворота Я,, смещение камеры - вектором смещения 4 а информация о внутренних параметрах камеры представлена матрицей К,, где , - это номер изображения.
По рекомендации авторов набора, чтобы отсечь фон, была использована пороговая обработка по яркости пикселя с последующей дилатацией и эрозией. Некоторые соседние снимки в наборе нельзя рассматривать как разноракурсные изображения, содержащие одинаковую сцену. Поэтому для апробации предложенных методов без потери общности были использованы 151 изображение набора, так как они могут последовательно обрабатываться в виде стереопар, без предварительного алгоритма, учитывающего порядок изображений. Отметим, что матрица К для каждого случая одинакова.
В данном наборе для каждого изображения известен поворот и сдвиг в виде матрицы поворота Я и ]. Для выбранной пары разноракурсных изображений необходимо вычислить поворот и сдвиг камеры для соседних изображений, рассматривая координаты первой камеры как начальные.
Допустим, нам известны соответствия, заданные соответствующими точками т1 и т2 в нормализованных координатах для соседних изображений:
т1 «[^ ]1 ][[ У г]Т, т2 «[Я2 ]2][ У г]Т. Применяя евклидово преобразование
Н =
0
-яТ ]
1
к [X У г], получим следующие координаты соответ-
ствий:
т1«I [х у г ]т + 0 = [х у г ]т, т2 « я2Ят [х у г ]т - я2Ят]1 - ]2.
Обозначив
Я2= Я , -Я 2 ^ + ] 2 = ]
получим задачу:
1 «[ X У 2 ]Т,
я [х у г ]Т + ].
т
т2 «
(13)
(14)
Верификация полученных результатов проводилась с использованием параметров поворота и сдвига в виде Я и ], предварительно применив (13).
Общепринятые способы решения задачи (14) связаны с использованием фундаментальной матрицы. В отрытой библиотеке ОрепСУ реализованы четыре способа нахождения фундаментальной матрицы: семиточечный (ФМ, 7-точечный), восьмиточечный (ФМ, 8-точечный), метод наименьших медиан (ФМ, ЬМББ8), и способ на основе алгоритма ЯАШАС (ФМ, ЯАШАС) [25].
Также были проведены экспериментальные исследования для предлагаемых алгоритмов на основе кватернионов (системы (6) и (10)), обозначенные далее Q-RT и QR-S, а также их модификации на основе ЯАШАС.
Ход эксперимента заключался в следующих этапах:
1. Выбор одной стереопары из набора из 151 изображения.
2. Нахождение соответствий с помощью выбранного дескриптора.
3. Нахождение параметров поворота и сдвига для каждого из восьми тестируемых методов (ФМ, 7-точечный; ФМ, 8-точечный; ФМ, LMEDS; ФМ, ЯА^АС; Q-RT; Q-RS; Q-RT-RANSAC; Q-RS-ЯА^АС).
Определение меры близости между найденными параметрами ориентирования и известными. Проведение количественных и качественных сравнительных оценок полученных решений.
4.
5.
Рис. 2. Пример изображения из последовательности «Статуя» набора «ЕТИЗБ»
Сравнительные оценки для параметров сдвига
1¡гие ^
s =1
t„
где 1 - полученные значения сдвига, Ьгие - измеренные значения (истинные).
В случае, если неизвестно точное значение кватерниона поворота г,, а известна только точная матрица поворота, необходимо полученный кватернион перевести в матрицу поворота.
R
1 -2s(q¡ + q2) 2%!q2 -q3q0) ^(qq3 + q0q2) 2s(4\q2 + qoq3) 1 -2s(qf + q¡) 2s(q2qз-qoqi)
2s(qiq3-qoqi) 2s(q2qз + qoqi) 1 -2s(q1 + q22)
где 5 = ||,|| 2.
В качестве меры близости между найденным поворотом относительно известного поворота использовался угол
s„ = arceos -
tr R-1
2 :
где Я - матрица поворота, а1х Я - её след. Матрица Я находится как Я = ШЯх, где Ш - матрица найденного поворота, Я2 - матрица известного поворота.
Результат определения смещения и поворота считался верным, если значения углов поворота 81, ви в радианах не превышали 0,2 (около 11°).
На рис. 3 приведены результаты экспериментального исследования на тестовой последовательности «Статуя» из набора «ETH3D».
ФМ, RANSAC ФМ, LMEDS ФМ, 8-точечный ФМ, 7-точечный Q-RS, RANSAC Q-RT, RANSAC Q-RS, без RANSAC Q-RT, без RANSAC
а) 0
ФМ, RANSAC ФМ LMEDS ФМ, 8-точечный ФМ, 7-точечный Q-RS, RANSAC Q-RT, RANSAC Q-RS, без RANSAC Q-RT, без RANSAC
H
8 10 12
э ■
С р и ■ о
с о р ■ о ■ ■ ■ Поворот О Смещение
■ э
■ О
б) 0 0,02 0,04 0,06 0,08 0,10
Рис. 3. Результат эксперимента на тестовой последовательности «Статуя»: число верных оценок (а); сравнительные оценки поворота и сдвига (б)
Исследование на наборе «Статуя» показало применимость всех предложенных методов для решения поставленной задачи при благоприятных условиях: большая глубина сцены, большой разброс точек, высокая контрастность и детальность сцены.
На рис. 4 приведены результаты экспериментальных исследований на тестовой последовательности «Dino» из набора «Middlebury».
По результатам исследований лучшие по надёжности оценки получены с помощью оптимизации
К
rm rX, m
;)+t+4+1 -1=o
с использованием КА^АС.
Заключение
В ходе работы исследован метод оценки параметров движения камеры по набору соответствующих точек на
этих изображениях с представлением поворота и смещения в форме кватернионов. По исследуемому методу был разработан алгоритм и реализован в виде программы на языке Python. С использованием разработанной
программы проведен сравнительный эксперимент по оценке точности и надежности оценок, полученных с помощью предложенного метода, в условиях малого числа соответствующих точек и малой глубины сцены.
ФМ, RANSAC ФМ, LMEDS ФМ, 8-точечный ФМ, 7-точечный Q-RS, RANSAC Q-RT, RANSAC Q-RS, без RANSAC Q-RT, без RANSAC
] □ ]
1
, , , ,!
1
ФМ, RANSAC ФМ, LMEDS ФМ, 8-точечный ФМ, 7-точечный Q-RS, RANSAC Q-RT, RANSAC Q-RS, без RANSAC Q-RT, без RANSAC
] □ □
1
1
1
а)
О
20
40
60
80 б)
20
40
60 80 100
ФМ, RANSAC ФМ, LMEDS ФМ, 8-точечный ФМ 7-точечный Q-RS, RANSAC Q-RT, RANSAC Q-RS, без RANSAC Q-RT, без RANSAC
] =1 ]
1
, , , , !
1
ФМ, RANSAC ФМ, LMEDS ФМ, 8-точечный ФМ 7-точечный Q-RS, RANSAC Q-RT, RANSAC Q-RS, без RANSAC Q-RT, без RANSAC
] Zl : Zl
i
i
i 1 11
в)
0
20
40
60
80
г)
О 20 40 60 80 100 120
ФМ, RANSAC ФМ, LMEDS ФМ, 8-точечный ФМ, 7-точечный Q-RS, RANSAC Q-RT, RANSAC Q-RS, без RANSAC Q-RT, без RANSAC
д) 0 20 40 60 80 100
Рис. 4. Число верных оценок для исходного набора: 20 точек (а); 30 точек (б); 40 точек (в); 50 точек (г); 60 точек (д)
В ходе экспериментальных исследований было показано, что в поставленных условиях традиционные методы оценки параметров движения, основанные на вычислении фундаментальной матрицы, показывают крайне низкую надежность (без сбоев - около 5-10 % всех экспериментов). Фактически, можно считать такую оценку полностью недостоверной. При этом надежность определения параметров с использованием предложенного метода значительно более высокая: 60-70%. Таким образом, существует перспектива использования предложенного метода при дальнейшем его развитии и последующих исследованиях.
Благодарности
Работа выполнена в рамках государственного задания по теме Б888-2020-0017 при частичной поддержке РФФИ (проекты № 17-29-03112, 19-29-01235). Экспериментальные исследования выполнены в рамках выполнения работ по Государственному заданию ФНИЦ «Кристаллография и фотоника» РАН (соглашение № 007-ГЗ/Ч3363/26).
Литература
1. Мясников, В. В. Исследование зависимости точности одновременной реконструкции сцены и позиционирования камеры от погрешностей, вносимых датчиками мобильного устройства / В.В. Мясников, Е.А. Дмитриев
// Компьютерная оптика. - 2019.- Т. 43, № 3. - C. 492503. - DOI: 10.18287/2412-6179-2019-43-3-492-503.
2. Lee, B. Online self-supervised monocular visual odometry for ground vehicles / B. Lee, K. Daniilidis, D.D. Lee // IEEE International Conference on Robotics and Automation (ICRA). - 2015. - P. 5232-5238.
3. Fu, C. Efficient visual odometry and mapping for unmanned aerial vehicle using ARM-based stereo vision preprocessing system / C. Fu, A. Carrio, P. Campoy // International Conference on Unmanned Aircraft Systems (ICUAS). - 2015. - P. 957-962.
4. Kudinov, LA Camera and auxiliary sensor calibration for a multispectral panoramic vision system with a distributed aperture / I.A. Kudinov, M.B. Nikiforov, I.S. Kholopov // Journal of Physics: Conference Series. - 2019. - Vol. 1368, Issue 3. - 032009.
5. Кирш, Д. В. Алгоритм реконструкции трёхмерной структуры кристалла по двумерным проекциям / Д.В. Кирш, А.С. Широканев, А.В. Куприянов // Компьютерная оптика. - 2019. - Т. 43, № 2. - С. 324-331. -DOI: 10.18287/2412-6179-2019-43-2-324-331.
6. Ruchay, A.N. Fusion of information from multiple Kinect sensors for 3D object reconstruction / A.N. Ruchay, K.A. Dorofeev, V.I. Kolpakov // Computer Optics. - 2018. -Vol. 42(5). - P. 898-903. - DOI: 10.18287/2412-61792018-42-5-898-903.
7. Troiani, C. 2-point-based outlier rejection for camera-imu systems with applications to micro aerial vehicles / C. Troiani, A. Martinelli, C. Laugier, D. Scaramuzza // IEEE International Conference on Robotics and Automation (ICRA). - 2014. - P. 5530-5536.
8. Cadena, C. Past, present, and future of simultaneous localization and mapping: Toward the robust-perception age / C. Cadena, et al. // IEEE Transactions on Robotics. - 2016.-Vol. 32, Issue 6. - P. 1309-1332.
9. Rebecq, H. EVO: A geometric approach to event-based 6-DOF parallel tracking and mapping in real time / T. Horstschafer, G. Gallego, D. Scaramuzza // IEEE Robotics and Automation Letters. - 2016. - Vol. 2, Issue 2. -P. 593-600.
10. Zhang, Y. Robust orientation estimate via inertial guided visual sample consensus / Y. Zhang, W. Liang, Y. Li, H. An, J. Tan // Personal and Ubiquitous Computing. -2018.- Vol. 22, Issue 2. - P. 259-274.
11. Rebecq, H. Real-time visual-inertial odometry for event cameras using keyframe-based nonlinear optimization / H. Rebecq, T. Horstschaefer, D. Scaramuzza // British Machine Vision Conference (BMVC). - 2017.
12. Liang, J. Experimental Evaluation of Direct Monocular Visual Odometry Based on Nonlinear Optimization / J. Liang, X. Cheng, Y. He, X. Li, H. Liu // WRC Symposium on Advanced Robotics and Automation (WRC SARA). - 2019. - P. 291-295.
13. Von Stumberg, L. Direct sparse visual-inertial odometry using dynamic marginalization / L. Von Stumberg, V. Usenko, D. Cremers // IEEE International Conference on Robotics and Automation (ICRA). - 2018. - P. 2510-2517.
14. Leutenegger, S. Keyframe-based visual-inertial SLAM using nonlinear optimization / S. Leutenegger, S. Lynen, M. Bosse, R. Siegwart, P. Furgale // Proceedings of Robotics Science and Systems (RSS). - 2013.
15. Rosten, E. Machine learning for high-speed corner detection / E. Rosten, T. Drummond // European Conference on Computer Vision (ECCV). - 2006. - P. 430-443.
16. Li, R. UnDeepVO: Monocular visual odometry through un-supervised deep learning / R. Li, S. Wang, Z. Long, D. Gu // IEEE International Conference on Robotics and Automation (ICRA). -2018. - P. 7286-7291.
17. Fursov, V.A. Prediction of estimates' accuracy for linear regression with a small sample size / V.A. Fursov, A.V. Gavrilov, A.P. Kotov // 41st International Conference
on Telecommunications and Signal Processing (TSP). -2018. - P. 679-685. - DOI: 10.1109/TSP.2018.8441385.
18. Hartley, R. Multiple view geometry in computer vision / R. Hartley, A. Zisserman. - Cambridge: Cambridge University Press, 2003. - 271 p.
19. Karlsson, L. Algorithms for hessenberg-triangular reduction of fiedler linearization of matrix polynomials / L. Karlsson, F. Tisseur // SIAM Journal on Scientific Computing. - 2015. - Vol. 37, Issue 3. - P. C384-C414.
20. Гошин, Е.В. Метод определения внешних параметров камеры по паре изображений с использованием дуальных кватернионов / Е.В. Гошин, И.Р. Усеинова // Ме-хатроника, автоматизация, управление. - 2017. - Т. 18, № 4. - C. 279-284. - DOI: 10.17587/mau.18.279-284.
21. Тестовая последовательность изображений «Dino» из набора «Middlebury» [Электронный ресурс]. - URL: http://vision.middlebury.edu/mview/data/data/dino.zip/ (дата обращения 07.10.2019).
22. Bay, H. Surf: Speeded up robust features / H. Bay, T. Tuytelaars, L. Van Gool. - In: Computer Vision - ECCV 2006 / ed. by A. Leonardis, H. Bischof, A. Pinz. - Berlin, Heidelberg: Springer, 2006. - P. 404-417. - DOI: 10.1007/11744023_32.
23. Rublee, E. ORB: An efficient alternative to SIFT or SURF / E. Rublee, V. Rabaud, K. Konolige, G.R. Bradski // International Conference on Computer Vision (ICCV). - 2011. -P. 2564-2571.
24. Lowe, D.G. Object recognition from local scale-invariant features / D.G. Lowe // Proceedings of the Seventh IEEE International Conference on Computer Vision. - 1999. -Vol. 2. - P. 1150-1157.
25. Библиотека обработки изображений OpenCV [Электронный ресурс]. - URL: http://opencv.org/ (дата обращения 07.10.2019).
26. Moré, J.J. The Levenberg-Marquardt algorithm: Implementation and theory / J.J. Moré. - In: Numerical analysis / ed. by G.A. Watson. - Berlin, Heidelberg: Springer, 1978. - P. 105-116.
27. Csurka G. Characterizing the uncertainty of the fundamental matrix / G. Csurka, C. Zeller, Z. Zhang, O. Faugeras // Computer Vision and Image Understanding. - 1997. -Vol. 68, Issue 1. - P. 18-36.
Сведения об авторах
Гошин Егор Вячеславович, к.т.н., доцент кафедры суперкомпьютеров и общей информатики Самарского университета. Область научных интересов: методы обработки и распознавания изображений, параллельные вычисления, стереозрение. E-mail: goshine@yandex.ru .
Котов Антон Петрович, к.т.н., ассистент кафедры суперкомпьютеров и общей информатики Самарского университета. Область научных интересов: распознавание образов, обработка изображений, параллельные вычисления. E-mail: kotov@ssau.ru.
ГРНТИ: 28.23.15, 50.41.25. Поступила в редакцию 23 декабря 2019 г. Окончательный вариант - 26 февраля 2020 г.
Method for camera motion parameter estimation from a small number of corresponding points using quaternions
Ye. V. Goshin1, A.P. Kotov12 1 Samara National Research University, 443086, Samara, Russia, Moskovskoye Shosse 34 2IPSIRAS - Branch of the FSRC "Crystallography and Photonics " RAS, 443001, Samara, Russia, Molodogvardeyskaya 151,
Abstract
In this paper, we study methods for determining parameters of camera movement from a set of corresponding points. Unlike the traditional approach, the corresponding points in this paper are not used to determine the fundamental matrix, but directly to determine motion parameters. In addition, in this work, we use a multi-angle image formation model based on the representation of three-dimensional images and motion parameters in the form of quaternions. We propose method for determining motion parameters, including the selection of the most noise-free matches using the RANSAC method. The study presents results of an experiment on the "Middlebury" and "ETH3D" test kits, which contains a set of images with known values of the motion parameters. Using a program written in Python, a comparative experiment was conducted to evaluate the accuracy and reliability of the estimates obtained using the proposed method under conditions of a small number of corresponding points and a shallow depth of the scene. In the course of experimental studies, it was shown that under the above-described conditions, the reliability of parameter determination using the proposed method significantly exceeds the reliability of traditional methods for estimating motion parameters based on the calculation of the fundamental matrix.
Keywords: epipolar geometry, quaternion, motion parameters.
Citation: Goshin YeV, Kotov AP. Method for camera motion parameter estimation from a small number of corresponding points using quaternions. Computer Optics 2020; 44(3): 446-453. DOI: 10.18287/2412-6179-CO-683.
Acknowledgements: This work was supported by the Russian Foundation for Basic Research (projects No. 17-29-03112, 19-29-01235) and the RF Ministry of Science and Higher Education within a state contract with the "Crystallography and Photonics" Research Center of the RAS under agreement 007-0/^3363/26.
References
[1] Myasnikov VV, Dmitriev EA. The accuracy dependency investigation of simultaneous localization and mapping on the errors from mobile device sensors. Computer Optics 2019; 43(3): 492-503. DOI: 10.18287/2412-6179-2019-433-492-503.
[2] Lee B, Daniilidis K, Lee DD. Online self-supervised monocular visual odometry for ground vehicles. IEEE International Conference on Robotics and Automation (ICRA) 2015: 5232-5238.
[3] Fu C, Carrio A, Campoy P. Efficient visual odometry and mapping for unmanned aerial vehicle using ARM-based stereo vision pre-processing system. International Conference on Unmanned Aircraft Systems (ICUAS) 2015: 957962.
[4] Kudinov IA, Nikiforov MB, Kholopov IS. Camera and auxiliary sensor calibration for a multispectral panoramic vision system with a distributed aperture. J Phys Conf Ser 2019; 1368(3): 032009.
[5] Kirsh DV, Skirokanev AS, Kupriyanov AV. Algorithm of reconstruction of a three-dimensional crystal structure from two-dimensional projections. Computer Optics 2019; 43(2): 324-331. DOI: 10.18287/2412-6179-2019-43-2324-331.
[6] Ruchay AN, Dorofeev KA, Kolpakov VI. Fusion of information from multiple Kinect sensors for 3D object recon-
struction. Computer Optics 2018; 42(5): 898-903. DOI: 10.18287/2412-6179-2018-42-5-898-903.
[7] Troiani C, Martinelli A, Laugier C, Scaramuzza D. 2-point-based outlier rejection for camera-imu systems with applications to micro aerial vehicles. IEEE Int Conf Robot Automat (ICRA) 2014: 5530-5536.
[8] Cadena C, et al. Past, present, and future of simultaneous localization and mapping: Toward the robust-perception age. IEEE Trans Robot 2016; 32(6): 1309-1332.
[9] Rebecq H, Horstschafer T, Gallego G., Scaramuzza D. EVO: A geometric approach to event-based 6-DOF parallel tracking and mapping in real time. IEEE Robot Autom Lett 2006; 2(2): 593-600.
[10] Zhang Y, Liang W, Li Y, An H, Tan J. Robust orientation estimate via inertial guided visual sample consensus. Pers Ubiquit Comput 2018; 22(2): 259-274.
[11] Rebecq H, Horstschaefer T, Scaramuzza D. Real-time vis-ual-inertial odometry for event cameras using keyframe-based nonlinear optimization. British Machine Vision Conference (BMVC) 2017.
[12] Liang J, Cheng X, He Y, Li X, Liu H. Experimental Evaluation of Direct Monocular Visual Odometry Based on Nonlinear Optimization. WRC Symposium on Advanced Robotics and Automation (WRC SARA) 2019: 291295.
[13] Von Stumberg L, Usenko V, Cremers D. Direct sparse vis-ual-inertial odometry using dynamic marginalization. ICRA 2018: 2510-2517.
[14] Leutenegger S, Furgale P, Rabaud V, Chli M, Konolige K, Siegwart R. Keyframe-based visual-inertial slam using nonlinear optimization. Proc RSS 2013.
[15] Rosten E, Drummond T. Machine learning for high-speed corner detection. ECCV 2006: 430-443.
[16] Li R, Wang S, Long Z, Gu D. UnDeepVO: Monocular visual odometry through unsupervised deep learning. ICRA 2018: 7286-7291.
[17] Fursov VA, Gavrilov AV, Kotov AP. Prediction of estimates' accuracy for linear regression with a small sample size. TSP 2018: 679-685. DOI: 10.1109/TSP.2018.8441385
[18] Hartley R, Zisserman A. Multiple view geometry in computer vision. Cambridge: Cambridge University Press; 2003.
[19] Karlsson L, Tisseur F. Algorithms for Hessenberg-triangu-lar reduction of Fiedler linearization of matrix polynomials. SIAM J Sci Comput 2015; 37(3): C384-C414.
[20] Goshin YeV., Useinova IR. A method for determination of the extrinsic camera parameters from a pair of images with the use of dual quaternions [In Russian]. Mekhatronika,
Avtomatizatsiya, Upravlenie 2017; 18(4): 279-284. DOI: 10.17587/mau.18.279-284.
[21] Dataset "Middlebury". Source: (http://vision.middlebury.edu/mview/data/data/dino.zip/).
[22] Bay H, Tuytelaars T, Van Gool L. Surf: Speeded up robust features. In Book: Leonardis A, Bischof H, Pinz A, eds. Computer Vision - ECCV 2006. Springer, Berlin, Heidelberg; 2006: 404-417.
[23] Rublee E, Rabaud V, Konolige K, Bradski G. ORB: An efficient alternative to SIFT or SURF. ICCV 2011: 25642571.
[24] Lowe DG. Object recognition from local scale-invariant features. Proc IEEE ICCV 1999; 2: 1150-1157.
[25] The image processing library OpenCV. Source: (http://opencv.org/).
[26] Moré JJ. The Levenberg-Marquardt algorithm: Implementation and theory. In Book: Watson GA, ed. Numerical analysis. Berlin, Heidelberg: Springer; 1978: 105-116.
[27] Csurka G, Zeller C, Zhang Z, Faugeras OD. Characterizing the uncertainty of the fundamental matrix. Comput Vis Image Underst 1997; 68(1): 18-36.
Authors' information
Yegor Vyacheslavovich Goshin, Candidate of Engineering Sciences. Research interests are image processing, recognition algorithms, parallel computations and stereovision. E-mail: goshine@yandex. ru .
Anton Petrovich Kotov, Candidate of Engineering Sciences. Research interests are computer vision, image processing, parallel computations. E-mail: kotov@jssau.ru .
Received December 23, 2019. The final version - February 26, 2020.
