CC BY
79
Исследование зависимости точности одновременной реконструкции сцены и позиционирования камеры от погрешностей, вносимых датчиками мобильного устройства
В.В. Мясников12, Е.А. Дмитриев1 1 Самарский национальный исследовательский университет имени академика С.П. Королёва, 443086, Россия, г. Самара, Московское шоссе, д. 34, 2 ИСОИ РАН - филиал ФНИЦ «Кристаллография и фотоника» РАН, 443001, Россия, г. Самара, ул. Молодогвардейская, д. 151
Аннотация
Задача одновременной реконструкции сцены и позиционирования камеры (Simultaneous Localization and Mapping - SLAM) с использованием монокулярной системы наблюдения -одна из наиболее известных и сложных, затрагивающая целый ряд научных направлений: робототехнику, компьютерное зрение и виртуальную реальность. Настоящая работа направлена на решение проблемы SLAM в рамках мобильного устройства, оснащённого, наряду с монокулярным оптическим сенсором (камерой), также инерционными датчиками (гироскоп и акселерометр) и цифровым компасом. Последние позволяют получать дополнительную оценку положения и ориентации мобильного устройства. Цель работы - оценить потенциальную пригодность и эффективность использования дополнительной информации, предоставляемой указанными датчиками мобильного устройства типа смартфона, с точки зрения точности получаемого решения и/или снижения временных затрат на его получение. Экспериментальная часть исследования, включающая как модельные, так и натурные эксперименты, позволила определить требования к допустимым погрешностям, вносимым датчиками мобильного устройства. Для конкретной модели мобильного устройства показано, что электронный компас удовлетворяет этим требованиям, в то время как погрешности инерционных датчиков, используемых для определения перемещений, оказываются неприемлемо большими.
Ключевые слова: SLAM, визуальная одометрия, реконструкция сцены, мобильное устройство, инерционные датчики, компас.
Цитирование: Мясников, В.В. Исследование зависимости точности одновременной реконструкции сцены и позиционирования камеры от погрешностей, вносимых датчиками мобильного устройства / В.В. Мясников, Е.А. Дмитриев // Компьютерная оптика. - 2019. -Т. 43, № 3. - С. 492-503. - DOI: 10.18287/2412-6179-2019-43-3-492-503.
Введение
Одновременная реконструкция сцены и позиционирование (Simultaneous Localization and Mapping -SLAM) - известная проблема робототехники и компьютерного зрения. В компьютерном зрении эта же проблема носит название визуальной одометрии и определения структуры по движению (visual odom-etry and structure from motion) и заключается в необходимости одновременного и, как правило, последовательного определения состояния средства наблюдения и построения модели регистрируемой им 2D/3D-сцены [1-3]. В качестве средств наблюдения могут использоваться оптические камеры, радары и дальномеры разной физической природы и т.п. Под состоянием средства наблюдения обычно понимают его положение и ориентацию, однако в отдельных задачах интерес могут представлять и другие «характеристики» состояния: скорость движения и вращения, ускорение и др. В качестве модели 2D-сцены на практике обычно выступают цифровые двумерные карты, а для 3D-сцен - векторные модели виртуальной реальности или упрощённые точечные модели типа «облако точек». Следует также отметить, что поскольку абсолютное первичное состояние средства наблюдения (как и потенциальный масштаб сцены) заранее неизвестно, построение сцены (англ.: Map-
ping) SLAM-системой производится относительно так называемых «ориентиров» (англ.: landmarks), в качестве которых могут выступать прямые линии, особые точки (англ.: keypoints, feature points) и др.
Первые успешные решения SLAM-проблемы для 2D-сцен и соответствующие им алгоритмы, основанные на фильтрации, были описаны в обзорных работах Durrant-Whyte и Bailey [4-5] в 2006 году. Хотя указанные в них алгоритмы фильтрации могут быть использованы и для решения SLAM-проблемы для 3D-сцен и монокулярных средств наблюдения, со временем для этого подкласса задач всё более широкое использование получили монокулярные SLAM-системы, использующие т.н. «опорные кадры». Для обозначения таких SLAM-систем в зарубежной литературе используется аббревиатура KSLAM (Keyframe-based monocular SLAM) [6, 7]. В отличие от алгоритмов фильтрации, которые регулярным образом последовательно модифицируют оценки требуемых параметров при каждом измерении, монокулярные KSLAM-системы делают это от этапа к этапу. Каждый из этапов оказывается связан с получением из видеопоследовательности некоторого информативного изображения - «опорного кадра», - для которого и производится сопоставление положений проекций ориентиров с положениями на других опорных кадрах, аналогично системам сте-
реозрения [1-3,8-9]. Подобное решение для монокулярных оптических систем обеспечивает рациональный баланс между вычислительной сложностью и качеством конструируемой сцены [7].
Настоящая работа направлена на исследование точности решения задачи монокулярного KSLAM с использованием мобильного средства наблюдения, оснащённого, наряду с монокулярным оптическим сенсором (камерой), также компасом и инерционными сенсорами - акселерометром и гироскопом. Последние позволяют получать дополнительную оценку положения и ориентации мобильного устройства. Цель исследования -оценить потенциальную пригодность и эффективность (то есть зависимость точности решения задачи) использования дополнительной информации, предоставляемой компасом и инерционными сенсорами устройства для улучшения качества формируемого решения и/или снижения временных затрат на его получение.
Работа построена следующим образом. В первом параграфе дан обзор релевантных работ, представлена общая структура решения проблемы монокулярного KSLAM. Во втором параграфе приведено описание предложенных элементов решения в контексте указанной выше структуры. Выделены те части монокулярного KSLAM, которые будут исследованы в настоящей работе, представлен итоговый критерий. Оценки погрешностей состояния мобильного устройства регистрации, вносимых инерционными сенсорами и компасом, представлены в третьем параграфе. В четвёртом параграфе представлены результаты исследования зависимости точности одновременной реконструкции сцены и позиционирования камеры от погрешностей, вносимых указанными датчиками мобильного устройства монокулярной KSLAM-системы. Экспериментальная часть исследования, представленная в третьем и четвёртом параграфах, включает как модельные, так и натурные эксперименты. Выводы, основанные на сопоставлении результатов последних двух параграфов, благодарности и список использованной литературы приведены в завершение работы.
1. Архитектура KSLAM-систем и обзор современного состояния исследования
1.1. Архитектура KSLAM-систем
Современные KSLAM-системы условно можно представить в виде следующего набора блоков/этапов [4-7]:
1) инициализации,
2) ассоциации данных,
3) оценки положения,
4) построения карты/сцены,
5) взаимного уточнения,
6) отсева ошибок,
7) замыкания цикла.
Типовая комбинация указанных блоков представлена на рис. 1 ниже.
Блок инициализации (англ.: visual initialization) предназначен для установки стартового состояния
средства наблюдения и модели карты/сцены. Поскольку при запуске KSLAM-системы информация о состоянии средства наблюдения и модели сцены отсутствует, выбор инициализирующих значений оказывает значительное влияние на итоговое качество решения KSLAM-проблемы.
Инициализация
3D карта
3D карта Оценки положения
Замыкание цикла
Взаимное уточнение
3D карта
Построение карты
Нет
Рис. 1. Общая архитектура KSLAM-системы
Блок ассоциации данных (англ.: data association) предназначен для нахождения соответствия между уже найденными на предшествующих кадрах ориентирами и ориентирами, найденными на текущем кадре. Подходы, используемые для реализации этого блока, обычно подразделяют на прямые (англ.: direct), основанные на признаках/дескрипторах (англ.: feature-based), и смешанные (англ.: hybrid). Методы, реализующие прямой подход, в свою очередь, подразделяют на «плотные» (англ.: dense) и «полуплотные» (англ.: semi-dense). Для «плотной» ассоциации характерно нахождение соответствий между всеми точками кадра, в то время как альтернативой является указание соответствий только для части кадра, где присутствуют резкие перепады яркости, обычно соответствующие границам и краям объектов. В отличие от прямого подхода, имеющего чрезвычайно высокую вычислительную сложность, признаковый подход предполагает нахождение на изображении относительно небольшого числа особых точек (англ.: keypoints, feature points), набор признаков которых -дескриптор - характеризует локальную окрестность соответствующей точки. Существует целый ряд детекторов (Hessian corner detector, Harris detector, Shi-Tomashi corners, FAST и др.) и дескрипторов (SIFT, SURF, HOG, ORB и др.) особых точек, которые могут быть использованы для решения этой задачи. Обзор некоторых из них представлен в работах [7, 10]. Сопоставление в этом случае производится на основе поиска сопряжённых пар точек на разных кадрах с наиболее близкими дескрипторами.
Очевидно, что неверно найденные ассоциации, установленные соответствующим блоком, приводят к
принципиальной невозможности верного решения SLAM-проблемы. Для исключения неверно найденных ассоциаций и соответствующих (аномальных) ошибок в KSLAM-системах предусмотрен блок отсева ошибок (англ.: failure recovery). Одним из типовых вариантов устранения неверно найденных ассоциаций является сокращение (направленное или случайное) числа анализируемых пар ассоциаций, что реализуется алгоритмами, типа RANSAC [11] или поиска наибольшей совместной подсистемы [9].
Блок оценки положения (англ.: pose estimation) предназначен для получения оценки состояния средства наблюдения, как правило, его положения и ориентации в некоторой системе координат (например, связанной с первоначальным положением камеры). Данный блок обычно реализуется с использованием предсказания положения и последующего уточнения положения. Предсказание положения может выполняться на основе анализа модели движения (например, предполагая прямолинейность или гладкость траектории), на основе информации со вспомогательных датчиков или систем управления, а также путём агрегации этих двух подходов. Отметим заранее, что для нашей работы особый интерес представляет второй и третий подходы. Уточнение положения, полученного на основе предсказания, производится за счёт «триангуляции» точки съёмки относительно известных и ассоциированных ориентиров. Найденное таким образом положение камеры является предварительным (поскольку положение ориентиров в дальнейшем также корректируется) и уточняется на этапе взаимного уточнения (см. ниже).
Блок построения карты/сцены (англ. : map generation) ответственен за построение представления той части наблюдаемой сцены, которая до текущего ключевого кадра не наблюдалась. Обычно различают два варианта представления сцены: метрическое и топологическое. При метрическом представлении каждый ориентир получает явные метрические координаты в выбранной SLAM-системой системе координат, вычисляемые на основании наблюдаемых проекций ориентиров на ключевых кадрах. В силу существующих ошибок определения на снимке координат проекций ориентиров, дискретности самого изображения, а также ошибок в определении координат системы регистрации метрические координаты ориентиров определяются также с ошибкой. Собственно минимизация ошибки, получаемой как сумма отклонений реально зарегистрированных координат проекций от координат проекций предлагаемого решения, и есть типовой критерий для построения карты. Топологическое представление сцены подразумевает построение графа, узлы которого соответствуют зарегистрированным ключевым кадрам, а дуги соответствуют найденным ассоциациям по ориентирам. Указанные представления также могут использоваться совместно.
Блок взаимного уточнения (англ.: BA - bundle adjustment/pose graph optimization/map maintanance)
предназначен для одновременного уточнения метрического представления регистрируемой сцены и параметров состояний устройства регистрации. Различные алгоритмы, реализующие этот блок, используют различные критерии: глобальную ошибку по всем кадрам, локальную ошибку по подмножеству кадров и т.п. В силу объективной нелинейности ключевого критерия, минимизирующего среднеквадратическую ошибку проецирования ориентиров, наиболее типичными алгоритмами решения BA-задачи являются: градиентный алгоритм, алгоритм Ньютона, алгоритм Левенберга-Маркуада [12 -13].
Блок замыкания цикла (англ.: loop closure) используется в тех случаях, когда на практике осуществляется возврат системы регистрации (робота) на позицию, с которой был зарегистрирован ключевой кадр. В этом случае возникает дополнительная возможность уточнения всех искомых параметров KSLAM-проблемы за счёт учёта замкнутости трассы устройства регистрации.
1.2. Современное состояние исследований: решение KSLAM-проблемы на мобильных устройствах
Подробные обзоры продолжающихся более 30 лет исследований проблемы SLAM представлены в целом ряде работ. Среди них можно выделить один из первых полноценных обзоров авторов Durrant- Whyte и Bailey [4-5] в 2006 году. Две публикации указанных авторов дали детальное описание вероятностной постановки проблемы SLAM и соответствующего решения, основанного на теореме Байеса и марковских моделях. Достаточно детально описаны первые успешные алгоритмы: EKF-SLAM (EKF - Extended Kaiman Filter), FastSLAM [14] и Rao-Blackwellized particle filter.
Более современные обзоры были представлены в 2016 и 2017 годах соответственно в работах [6] и [7]. При этом работа [7] в значительно степени, как упоминалось выше, ориентирована на задачу монокулярного KSLAM, то есть на проблему SLAM с визуальным устройством регистрации. Именно в этом обзоре рассмотрены и классифицированы наиболее известные и успешные практики решения KSLAM-проблемы, как открытые, так и проприетарные: PTAM [15], LSD-SLAM [16-17], ORB-SLAM [18], DTAM [19], SVO, DT-SLAM и др.
В своей работе основной упор мы делаем на решениях, предназначенных для персональных мобильных устройств - смартфонов и планшетов, - использующих наряду с оптической камерой компас и инерционные сенсоры, и требующих оперативного решения KSLAM-проблемы. С этой точки зрения следует выделить следующие работы.
Klein и Murray в 2007 году предложили монокулярную KSLAM-систему PTAM [15], которая могла работать на современных смартфонах. Итоговая сцена формировалась в виде набора отдельных точек. В работе [20] авторыStuhmer и др. предложили решение оперативной «плотной» реконструкции сцены по набору кадров с использованием CPU и GPU. Использование
инерционных датчиков для повышения эффективности решения KSLAM-проблемы на смартфонах рассматривалось в работе 2013 года [21]. Как утверждают авторы, они предложили на тот момент первое решение для «dense» реконструкции сцены на смартфоне, работающее в режиме реального времени (15-30 кадров разрешения 640^480 на Samsung Galaxy SIII). Дальнейшие улучшения решений, такие как LSD-SLAM [17] и ORBSLAM [18], заключались в уходе от подхода на основе признаков в пользу прямого сопоставления кадров с использованием мощных GPU, что ограничивало область использования соответствующих решений. Недавние интересные модификации, также использующие высокомощные GPU, заключаются в использовании информации об оптическом потоке и глубоких нейронных сетей [22-23], что не позволяет распространить результаты на типовые персональные мобильные устройства.
Вопросы точности SLAM-алгоритмов в литературе рассматривались в разных аспектах, часть теоретических вопросов рассмотрена в классических работах [4 -5]. Более современный подход, сопряжённый с вопросами создания banchmark-данных, рассмотрен в работе 2009 года [24]. Возможности и эффективность использования инерционных датчиков в мобильных устройствах для определения ориентации и позиции устройства рассматривались в работах [25-27]. В то же время детального исследования влияния ошибок оценок состояния устройства регистрации по датчикам на качество/точность решения SLAM-проблемы авторы настоящей работы не обнаружили, что послужило основанием для настоящего исследования.
2. Реализация исследовательской KSLAM-системы для мобильного устройства
Введём некоторые обозначения (см. рис. 2): I - число ориентиров, детектированных системой регистрации, K - число ключевых кадров; X - 3D-координаты i-го ориентира (i = 0, I -1); X* - 3D-координаты положения устройства регистрации для k-го ключевого кадра (k = 0, K -1); f* - фокус
устройства регистрации для k-го кадра (величина, известная с точностью до диапазона и, возможно, приближённо); a* - вектор ориентации устройства регистрации для k-го ключевого кадра (£ = 0, 1, 2). Матрица Ak, составленная из строк триплета транспонированных векторов a*, представима в виде (тройка углов ak, ßk, у* определяет ориентацию в пространстве устройства регистрации) [1-3, 9]:
(cos ak - sin ak 0Л
Ak =
sin a 0
cos a 0
( cos ßk 0 - sin ß' 0 1 0 sin ßk 0 cos ßk
0 1
/ k Л
(1
0
0 л
k
0 cos у - sin у' 0 sin уk cos уk
х , ук,/ - столбец и строка к-го кадра, определяющие координаты проекции /-го ориентира (величины, определяемые на этапе ассоциации данных); 5х, 5У -вертикальный и горизонтальные размеры ячеек ПЗС-матрицы устройства регистрации (заранее известные величины); 5(к, /) е{0, 1} - индикатор присутствия на к-м ключевом кадре изображения /-го ориентира (величины, определяемые на этапе ассоциации данных); уу (у = 1,5) - вещественнозначные функции, определяющие частные критерии (например, отклонение найденных координат устройства от известных или
определенных сенсорами); цу (цу > 0, у = 1,6) - весовые множители, характеризующие относительную важность соответствующего критерия (в том числе ошибки проецирования).
41+2
Камера Ориентир
Оценка
Истина —^— ^¡f
Рис. 2. Иллюстрация к обозначениям SLAM, по материалам работ [4-5] с коррекцией обозначений
Задачей рассматриваемой KSLAM-системы является оценка положений ориентиров Xi и параметров состояний устройства регистрации: координат Xc и ориентации ak ßk, yk.
Иллюстрация последовательного исполнения этапов решения SLAM-проблемы от кадра к кадру приведена на рис. 2. Ниже представлено уточнение по реализации отдельных этапов рассматриваемой и анализируемой KSLAM-системы.
Инициализация
Инициализация выполняется следующим образом:
- стартовое положение устройства регистрации совпадает с началом координат X0 = (0,0,0) ;
- стартовая ориентация устройства регистрации полагается «нулевой»: a0 = ß0 = y0 = 0;
- фокус устройства регистрации f0 для стартового кадра определяется либо мобильным устройством, либо задаётся интерактивно пользователем. На основании этой величины определяется величина d f) потенциальной «удалённости» наблюдаемых ориентиров от устройства регистрации (задаётся таблично при калибровке камеры);
- координаты ориентиров, видимых на стартовом кадре {/: 8(0,/) = 1, /е/}, определяются как пересечение линии, проходящей через начало координат
X0 = (0,0,0) и точку с физическими координатами
(х0,/ • sx, у0,1 • Sy, /0), задающую положение /-го ориентира на стартовом кадре, с плоскостью 2 = ё (/°);
- при наличии данных с сенсоров они выступают как инициирующие значения положения и ориентации устройства регистрации и/или параметры соответствующих частных критериев у Ассоциация данных
В рассматриваемой исследовательской KSLAM-системе блок ассоциации данных не предусмотрен. Предполагается безошибочная ассоциация всех ориентиров, которая при проведении экспериментальных исследований (параграф 4 работы) выполнялась вручную (для натурного эксперимента) или автоматически (для модельного эксперимента).
Оценка положения
Выполнялась в рамках оптимизации функционала, представленного в пункте «Взаимное уточнение».
Построение карты/сцены
Выполнялась в рамках оптимизации функционала, представленного в пункте «Взаимное уточнение».
Отсев ошибок
В рассматриваемой исследовательской KSLAM-системе блок не предусмотрен (см. комментарий к пункту «Ассоциация данных»).
Замыкание цикла
В рассматриваемой исследовательской KSLAM-системе блок не предусмотрен.
Взаимное уточнение
Критерий:
1 К-1 I-1
ХХ5(^, 1 )х
2
k=0 i=0 T
(a0 ) (Xi - Xk ) ^ (a2 )T (Xi - Xk ) x
(a' )T (X¿ - Xk )
fk - yk 4
v
K-1
(a2 ) (X¿ - Xk )
+^2 I Vi (fk ) + ^3 I V (ak, ßk, /)
k = 0 k=0 K-l K-l K-1
+^4 (Xk ) + H"5 Z Z V
k =0 K-1
Xk - x:
+Ц6 (X¿ ).
Критерий состоит из двух основных составляющих, а именно:
- ошибка проецирования (первое слагаемое) и
- рассогласование значений искомых параметров (метрического представления сцены и состояний устройства регистрации монокулярного KSLAM) с известными / прогнозными / приближёнными оценками (слагаемые 2-6). При отсутствии дополнительной
информации о задаче соответствующие слагаемые исключаются.
Алгоритм решения соответствующей задачи минимизации указанного критерия: градиентный алгоритм.
3. Оценка погрешностей показаний датчиков персонального мобильного телефона
Для экспериментов мы использовали мобильную платформу Android. Операционная система Android поддерживается компанией Google, и её преимущество относительно других платформ (iOS, Windows Phone) заключается в свободном доступе файлов с исходным кодом. В качестве устройства, на котором проводились исследования, выступал телефон Huawei Honor 9 Lite. Характеристики телефона представлены в табл. 1.
Табл. 1. Характеристики Huawei Honor 9 Lite
Процессор Huawei Kirin 659
Операционная система Android 8.0 Oreo
Память ОЗУ - 3 Гб, ПЗУ - 32 Гб
Дисплей 5,65 TFT (2160x1080)
Датчики Акселерометр, Гироскоп, Цифровой компас, Датчик приближения
Для большинства встроенных датчиков, таких как акселерометр и гироскоп, показания представлены в системе координат, связанной с устройством (рис.3, слева) [27]. Система координат для показаний цифрового компаса, для удобства будем называть её глобальной системой координат, показана на рис. 3 (справа). Ось абсцисс глобальной системы сонаправ-лена с географическим севером, ось ординат сона-правлена с географическим востоком, последняя ось перпендикулярна двум осям и направлена в «небо».
Рис. 3. Система координат мобильного устройства (слева) и глобальная система координат (справа)
3.1. Оценка шума датчиков неподвижного мобильного устройства Для оценки точности показаний датчиков на первом этапе мы регистрировали их показания в состоянии покоя мобильного устройства с максимальной частотой опроса, по аналогии с работой [25]. В нашей работе мы рассматривали следующие датчики: акселерометр, гироскоп, компас.
Показания акселерометра Акселерометр позволяет получить значения ускорения устройства по трём осям. Единицей измерения является м/с2. В случае, когда устройство неподвижно и на
k=0
него не действуют никакие внешние силы, норма вектора ускорения должна составлять 9,81 м/с2. Для проверки работы акселерометра в течение минуты снимались показания с максимально возможной частотой опроса датчика, которая для рассматриваемого устройства составляла 5 миллисекунд. Мобильное устройство располагалось неподвижно на ровном столе. Часть показаний датчика акселерометра представлена на рис. 4. В табл. 2 представлены статистические характеристики значений измерений по трём осям. Очевидны относительно значимые отклонения от идеальных значений.
Показания акселерометра, м/с2
10,0-
-I-1-1-1-1-г
40 60 80 100
Рис. 4. Показания акселерометра: фрагмент длительностью 0,5 с
Табл. 2. Статистические характеристики значений измерений акселерометра
Ось Среднее значение Максимальное значение Минимальное значение Среднее квадратичное отклонение
x 0,0287 0,0308 -0,0861 0,0155
У 0,0317 0,1053 -0,0478 0,0195
z 9,8329 9,9886 9,6534 0,0316
Показания гироскопа Гироскоп измеряет скорость вращения устройства вокруг трёх осей. Единицей измерения является рад/с. В случае, когда устройство находится в неподвижном состоянии, показания гироскопа должны составлять "0" рад/с по всем трём осям. Пример показаний гироскопа представлен на рис. 5. В табл. 3 представлены статистические характеристики значений измерений гироскопа по трём осям. Наблюдаются довольно значительные абсолютные погрешности (порядка 5 градусов/с), соответствующие показаниям по оси Z.
Показания компаса
В основе цифрового компаса лежат следующие датчики: магнитометр, акселерометр, гироскоп. Магнитометр является основным датчиком, а два других используются для уточнения показаний. С помощью программного интерфейса, предоставляемого платформой Android, можно получить следующие значения ориентации мобильного устройства в пространстве относительно глобальной системы координат: 1. Значение угла рысканья (азимут) - угол между ординатой в системе координат устройства и географическим севером.
2. Значение угла крена - угол между плоскостью, параллельной плоскости экрана, и плоскостью земли.
3. Значение угла тангажа - угол между плоскостью, перпендикулярной плоскости экрана, и плоскостью, перпендикулярной плоскости земли.
Показания гироскопа, рад/с
-0,02-
-0,04-
-0,06-
-0,08
0 25 50 75 100 125 150 1 75 200
Рис. 5. Показания гироскопа: фрагмент длительностью 1 с
Табл. 3. Статистические характеристики значений измерений гироскопа
Ось Среднее значение Максимальное значение Минимальное значение Среднее квадратичное отклонение
x 0,000026 0,0031 -0,0020 0,0006
У -0,000046 0,0019 -0,0041 0,0005
z -0,001101 0,0374 -0,0793 0,0102
В платформе Android также присутствует возможность получения ориентации устройства в виде кватерниона [27, 28], но эта возможность в проведенном исследовании не использовалась.
На рис. 6 представлены графики показаний цифрового компаса (график тангажа визуально совпадает с графиком крена и не представлен). Во всех случаях рассматриваемый угол поворота устройства составлял 90 градусов. В табл. 4 представлены статистические характеристики значений измерений. Очевидно, что показания датчика достаточно стабильны, но включают значительную систематическую ошибку. Существенно большую погрешность по сравнению с остальными даёт азимутальная составляющая.
По представленным результатам первого этапа исследования можно сделать вывод, что инерционные датчики (акселерометр и гироскоп) дают показания с определёнными (в некоторых случаях - значительными) случайными погрешностями. Одновременно с этим стабильность показаний цифрового компаса существенно выше, а систематическая погрешность может быть устранена при калибровке устройства.
В следующем подпараграфе представлены результаты экспериментов по определению погрешностей оценки относительного положения устройства при его перемещении.
Показания цифрового компаса, град
а) ~0 2000 4000 6000 Показания цифрового компаса, град 100
8000 10000
Отсчёты
б) 0 2000 4000 6000 8000 10000
Рис. 6. Показания цифрового компаса (фрагмент длительностью 50 с): рысканье (а), крен (б)
Табл. 4. Статистические характеристики значений измерений цифрового компаса
Направление Среднее значение Максимальное значение Минимальное значение Среднее квадратичное отклонение
азимут 82,9356 84,7699 81,9399 0,3461
крен 89,8399 89,5928 89,4000 0,0733
тангаж 90,8299 89,7926 89,3199 0,0275
3.2. Определение погрешности оценки относительного положения мобильного устройства при его перемещении Как известно, при оценке вектора перемещения выполняется двойное интегрирование вектора линейного ускорения (без учёта вектора свободного падения), представленного в неподвижной системе координат. Для экспериментов в качестве неподвижной системы координат была выбрана следующая: начало системы координат совпадает с первоначальной позицией устройства, а ориентация совпадает с ориентацией глобальной системы координат.
Из-за наличия погрешностей в показаниях датчиков возникает проблема накопления ошибки при интегрировании. Покажем это на примере оценок скорости и перемещения неподвижного (рис.7 - 8) и подвижного (рис. 9 - 10) устройства.
На графиках 7 - 8 представлены значения скорости и перемещения неподвижного устройства в разные моменты времени, каждый отсчёт на графике соответствует 5 мс. Показания снимались в ситуации, когда устройство неподвижно лежало на ровной поверхности. Предварительно проводилась калибровка значений датчиков, которая заключалась в компенсации систематической ошибки. Интегрирование осу-
ществлялось по методу трапеции с шагом, равным 5 миллисекундам. По указанным графикам можно сделать вывод, что в случае длительного интегрирования накопленная ошибка не позволяет качественно оценивать позиционирование устройства в пространстве: чем больший интервал времени рассматривается, тем больше ошибка позиционирования.
Скорость устройства, м/с
0,2-
-V
Отсчёты
т-г
0 2000 4000 6000 8000 10000
Рис. 7. Оценка скорости неподвижного устройства: фрагмент длительностью 50 с
Перемещение устройства, м
2-
0 2000 4000 6000 8000 10000
Рис. 8. Оценка перемещения неподвижного устройства: фрагмент длительностью 50 с
На рис. 8 и 9 представлены графики скорости и перемещения для подвижного мобильного устройства, каждый отсчёт на графике соответствует 5 мс. Перемещение (почти прямолинейное) производилось на расстояние 1,5 метра, основной вектор перемещения был по оси у, время перемещения - 8 секунд. Из представленного на рис. 9 графика видно, что реальная ошибка оценки перемещения по вектору перемещения (вектор у) составляет примерно 60 - 70%, при этом того же порядка абсолютная ошибка и по оси г, по которой устройство не перемещалось.
Скорость устройства, м/с
0,10-0,1 --0,2-0,3-0,4-0,5-0,6-
VVV-.
чч...
У'-'-,
---осьх
...........ось у
Отсчёты'
0 250 500 750 1000 1250 1500 1750
Рис. 9. Оценка скорости подвижного устройства: фрагмент длительностью 8 с
Перемещение устройства, м
---осьх \
........... ОСЬ V ч.
-осьг Отсчёты ''■
О 250 500 750 1000 1250 1500 1750
Рис. 10. Оценка перемещения подвижного устройства: фрагмент длительностью 8 с
На основании всех представленных результатов можно сделать предварительный вывод о том, что датчики мобильного устройства не позволяют достаточно надёжно определить позиционирование этого устройства в пространстве и их показания могут быть использованы только как дополнительная (вспомогательная) информация. Полученный вывод косвенно подтверждают также и результаты работы [21]. Одновременно, цифровой компас обеспечивает приемлемую стабильность показаний при относительно малой случайной ошибке, что позволяет потенциально использовать его для определения ориентации устройства. Окончательный вывод о применимости всех датчиков даёт исследование, результаты которого представлены ниже.
4. Исследование зависимости точности решения проблемы монокулярного KSLAM от погрешностей, вносимых датчиками мобильного устройства
4.1. Результаты исследования на модельных данных
Исследование проводилось следующим образом. Синтезировалась виртуальная сцена, на которой было 6 позиций камеры и 20 ориентиров. Позиции камеры выбирались по кругу с радиусом 2 м вокруг виртуального «центра сцены», допускались вертикальные смещения позиций камер на + 20см, направление их оси визирования - непосредственно в центр сцены. Ориентиры располагались около центра сцены со случайными координатами: по нормальному закону распределения со среднеквадратическим отклонением в 0,5 м. Размер снимка виртуальной камеры: 3000^5000, размер ячеек ПЗС-матрицы - 0,006 мм, фокусное расстояние - 5 мм.
При указанных зафиксированных параметрах сцены и камер получение «идеальных проекций» виртуальных ориентиров заключается в прямом расчёте цифровых координат хк,г, yk,/ для каждого /-го ориентира, отображаемого на k-м кадре. Если образ виртуального ориентира на соответствующий кадр (с учётом его размеров и фокусного расстояния) не попадал, величина 5 (к, /) полагалась нулевой. Ассоциация ориентиров полагалась известной.
Зависимость точности решения KSLAM-пробле-мы от погрешностей в позициях и ориентациях устройства регистрации исследовалась на 5 примерах сцены (отличаются расположением ориентиров). Каждое исследование предполагало внесение определённого уровня искажений в каждый из наборов параметров: координат устройства регистрации и его ориентации. Погрешность в значение параметра(ов) вносилась в виде аддитивной случайной помехи, распределённой по равномерному закону. Конкретное значение, например, «5» в табл. 5 результатов, таким образом, означает, что аддитивная случайная добавка распределена по равномерному закону на интервале [-5, 5]: для ориентации числа означают градусы, для расположения - метры. Максимальное число итераций для ВА-этапа полагалось 1 млн., нормальное условие остановки - изменение критерия меньше 0,0001. В соответствующую ячейку таблицы записывалось 3 величины:
- процент решённых KSLAM-проблем (из 5 попыток). Факт отсутствия решения означает, что градиентный алгоритм, предназначенный для поиска локального минимума критерия, не смог подобрать подходящие параметры. То есть первоначальное приближение, задаваемое виртуальными «сенсорами» (с учётом внесённой ими ошибки), оказалось неприемлемым;
- среднее значение критерия 3;
- среднее число итераций алгоритма, определяющее его временные затраты.
Из представленных в табл. 5 результатов можно сделать следующие выводы:
- чем точнее первоначальное приближение значений искомых параметров, тем меньшее число итераций требуется для получения решения;
- точность задаваемых параметров существенно влияет на саму возможность решения KSLAM-проблемы (для градиентного алгоритма), а именно: при погрешностях по углам ориентации от 20 градусов или по местоположению в 37,5% от «базы» съёмки (расстоянию между наиболее удалёнными камерами соответственно 0,75 м / 2,0 м) возможность решения рассматриваемой KSLAM-проблемы существенно падает (до 20%); при возрастании погрешностей, соответственно, до 45 градусов или 50% проблема оказывается неразрешимой в рамках исследуемой KSLAM-системы.
Совместно с результатами, представленными в третьем параграфе настоящей работы, это означает, что:
- электронный компас мобильного устройства даёт погрешности приемлемого уровня и может быть использован для улучшений характеристик (качества и скорости) KSLAM-системы;
- погрешности, вносимые при оценке перемещений инерционными датчиками мобильного устройства, оказываются неприемлемо высокими для KSLAM-системы, и использование их данных напрямую не эффективно.
Табл. 5. Зависимость точности решения КБЬЛМ-проблемы от погрешностей в позициях и ориентациях устройства регистрации
Угол / смещение 0 2,5 5 10 20 45
0 100% 0,00043 10213 100% 0,00042 19499 100% 0,00047 22524 100 % 0,00066 46490 60% 0,00060 242569 0%
0,1 100 % 0,00055 12195 100% 0,00035 27634 100% 0,00042 29760 100 % 0,00040 124240 40% 0,00057 163620 0 %
0,25 100% 0,00041 12158 100% 0,00044 64651 100% 0,00043 78965 100 % 0,00045 139361 40% 0,00047 200588 0%
0,5 100 % 0,00118 51919 100% 0,00054 257324 100% 0,00089 158693 100% 0,00078 181366 40% 0,00052 206592 0%
0,75 20% 0,00212 367794 20% 0,00068 450428 20% 0,00025 157625 20% 0,00025 219408 0% 0%
1 0% 0% 0% 0% 0% 0%
4.2. Результаты исследования на реальных данных
Для проверки работоспособности на реальных данных исследовательской KSLAM-системы для мобильного устройства был проведён следующий эксперимент. Была создана «сцена», состоящая из коробки размером 320*156*230 мм, расположенной на стуле, как показано на рис. 11 (верх). Данная сцена регистрировалась с 7 позиций с использованием мобильного фотоаппарата типа Nikon Coolpix S7000 с параметрами:
- допустимый диапазон фокусных расстояний: 4,5 - 90 мм;
- цифровой размер изображения 3264*2448;
- физ. размер ячеек ПЗС матрицы 6,160*4,620 мм.
Местоположения камер были известны с точностью до 20 см (составляло примерно 8 % от «базы» съёмки), ориентации - с точностью до 10 градусов, база съёмки (расстояние между наиболее удалёнными фотоаппаратами) составляла порядка 2,5 м, фокус предполагался неизвестным. Калибровка камеры и устранение её искажений не производились.
Результат реконструкции сцены и расположений камер представлен на рис. 11 (низ) и визуально соответствует действительности. Реконструированные размеры коробки - 290*141*212, что примерно на 10 % меньше фактических размеров («масштаб» сцены KSLAM-системы в общем случае реконструировать не в состоянии), ошибка имеет тот же порядок, что и точность задания координат камер. Точность реконструкции пропорций объекта:
156/320 = 0,4875 ~ 0,486 = 14^290;
230/320 = 0,719 ~ 0,731 = 212/290.
Как очевидно, погрешность в реконструкции пропорций на данном примере реальной сцены не пре-
вышает 1,7 %. Полученный результат подтверждает на реальном примере работоспособность предложенной KSLAM-системы при условии, что вносимые датчиками погрешности находятся в диапазоне, указанном в выводах подпараграфа 4.1.
Рис. 11. Натурная сцена с особыми точками и пример решения для неё проблемы монокулярного К8ЬЛМ с семью позициями камер
Выводы и результаты
В работе представлены результаты исследования по оценке потенциальной пригодности и эффективности использования дополнительной информации, предоставляемой датчиками мобильного устройства типа смартфона (компаса, акселерометра и гироскопа), для решения проблемы монокулярного KSLAM. Показано:
- электронный компас может быть использован для улучшений характеристик (качества и скорости) KSLAM-системы;
- погрешности, вносимые инерционными датчиками мобильного устройства, не позволяют использовать их напрямую в KSLAM-системах.
Благодарности
Работа выполнена при поддержке Министерства науки и высшего образования в рамках работ по Государственному заданию ФНИЦ «Кристаллография и фотоника» РАН (соглашение № 007-ГЗ/Ч3363/26) в части «Введение» и параграфа (1) «Архитектура KSLAM-систем и обзор современного состояния исследования», и грантов РФФИ (№ 18-01-00748 и 17-29-03190-ой) в части параграфов: (2) «Реализация исследовательской KSLAM-системы для мобильного устройства» - (4) «Исследование зависимости точности решения проблемы монокулярного KSLAM от погрешностей, вносимых датчиками мобильного устройства».
Литература
1. Хорн, Б.К.П. Зрение роботов / Б.К.П. Хорн; пер. с англ.
- М.: МИР, 1989. - 489 с.
2. Форсайт, Д. Компьютерное зрение. Современный подход / Д. Форсайт, Ж. Понс; пер. с англ. - M.: Вильямс, 2004. - 928 с. - ISBN: 0-13-085198-1.
3. Шапиро, Л. Компьютерное зрение / Л. Шапиро, Д. Сток-ман; пер. с англ. - М.: Бином, Лаборатория знаний, 2015. - 763 с.
4. Durrant-Whyte, H.F. Simultaneous localisation and mapping (SLAM): Part I. The essential algorithms / H.F. Durrant-Whyte, T. Bailey // IEEE Robotics and Automation Magazine. - 2006. - Vol. 13, Issue 2. - P. 99-110.
5. Durrant-Whyte, H.F. Simultaneous localisation and mapping (SLAM): Part II. State of the art / H.F. Durrant-Whyte, T. Bailey // IEEE Robotics and Automation Magazine. -2006. - Vol. 13, Issue 3. - P. 108-117.
6. Cadena, C. Past, present, and future of simultaneous localization and mapping: Toward the robust-perception age / C. Cadena, L. Carlone, H. Carrillo, Y. Latif, D. Scaramuzza, J. Neira, I. Reid, J.J. Leonard // IEEE Transactions on Robotics. - 2016. - Vol. 32, Issue 6. - P. 1309-1332.
7. Younes, G. Keyframe-based monocular SLAM: design, survey, and future directions / G. Younes, D. Asmar, E. Shammas, J. Zelek // Robotics and Autonomous Systems.
- 2017. - Vol. 98. - P. 67-88.
8. Гошин, Е.В. Решение задачи автоколибровки камеры с использованием метода согласованной идентификации / EB. Гошин, В.А. Фурсов // Компьютерная оптика. -2012. - Т. 36, № 4. - С. 605-611.
9. Котов, А.П. Технология оперативной реконструкции трёхмерных сцен по разноракурсным изображениям / А.П. Котов, В.А. Фурсов, Е.В. Гошин // Компьютерная оптика. - 2015. - Т. 39, № 4. - С. 600-605. - DOI: 10.18287/0134-2452-2015-39-4-600-605.
10. Мясников, В.В. Модельно-ориентированный дескриптор поля градиента как удобный аппарат распознавания и анализа цифровых изображений / В.В. Мясников // Компьютерная оптика. - 2012. - Т. 36, № 4. - С. 596-604.
11. Fischler, M.A. Random sample consensus: A paradigm for model fitting with applications to image analysis and automated cartography / M.A. Fischler, R.C. Bolles // Communications of the ACM. - 1981. - Vol. 24, Issue 6. - P. 381395.
12. Levenberg, K.A. A method for the solution of certain nonlinear problems in least squares / K.A. Levenberg // Quarterly of Applied Mathematics. - 1944. - Vol. 2, Issue 2. - P. 164-168.
13. Marquardt, D. An algorithm for least-squares estimation of nonlinear parameters / D. Marquardt // SIAM Journal on Applied Mathematics. - 1963. - Vol. 11, Issue 2. - P. 431441.
14. Montemerlo, M. FastSLAM: A factored solution to the simultaneous localization and mapping problem / M. Mon-
temerlo, S. Thrun, D. Koller, B. Wegbreit // Proceedings of the AAAI National Conference on Artificial Intelligence. -2002. - P. 593-598.
15. Klein, G. Parallel tracking and mapping for small AR workspaces / G. Klein, D. Murray // 2007 6th IEEE and ACM International Symposium on Mixed and Augmented Reality (ISMAR). - 2007. - P. 225-234.
16. Engel, J. Semi-dense visual odometry for a monocular camera / J. Engel, J. Sturm, D. Cremers // 2013 IEEE International Conference on Computer Vision (ICCV). -2013. - P. 1449-1456.
17. Engel, J. LSD-SLAM: Large-scale direct monocular SLAM / J. Engel, J. Schops, D. Cremers // European Conference on Computer Vision (ECCV). - 2014. - P. 834-849.
18. Mur-Artal, R. ORB-SLAM: A versatile and accurate monocular SLAM / R. Mur-Artal, J.M.M. Montiel, J.D. Tardos // IEEE Transactions on Robotics. - 2015. - Vol. 31, Issue 5. - P. 1147-1163.
19. Newcombe, R.A. DTAM: dense tracking and mapping in real-time / R.A. Newcombe, S.J. Lovegrove, A.J. Davison // IEEE International Conference on Computer Vision. -2011. - P. 2320-2327.
20. Stuhmer, J. Real-time dense geometry from a handheld camera / J. Stuhmer, S. Gumhold, D. Cremers // Pattern Recognition (DAGM). - 2010. - P. 11-20.
21. Transkanen, P. Live metric 3D reconstruction on mobile phones / P. Tanskanen, K. Kolev, L. Meier, F.C. Paulsen, O. Saurer, M. Pollefeys // 2013 IEEE International Conference on Computer Vision (ICCV). - 2013. - P. 65-72.
22. Roxas, M. Real-time simultaneous 3D reconstruction and optical flow estimation / M. Roxas, T. Oishi // IEEE Winter Conference on Applications of Computer Vision (WACV).
- 2018. - P. 885-893.
23. Schuster, R. Dense scene flow from stereo disparity and optical flow / R. Schuster, O. Wasenmuller, S. Didier // Computer Science in Cars Symposium. - 2018.
24. Kummerle, R. On measuring the accuracy of SLAM algorithms / R. Kummerle, B. Steder, C. Dornhege, M. Ruhnke, G. Grisetti, C. Stachniss, A. Kleiner // Autonomous Robots.
- 2009. - Vol. 27, Issue 4. - P. 387-407.
25. Ma, Z. Experimental evaluation of mobile phone sensors / Z. Ma, Y. Qiao, B. Lee, E. Fallon // 24th IET Irish Signals and Systems Conference (ISSC 2013). - 2013. - 49 (8 p.).
26. Kok, M. Using inertial sensors for position and orientation estimation / M. Kok, J.D. Hol, T.B. Schon // Foundations and Trends in Signal Processing. - 2017. - Vol. 11, Issues 1-2. - P. 1-153.
27. Titterton, D.H. Strapdown inertial navigation technology / D.H. Titterton, J.L. Weston. - London, UK, Reston, Virginia: Institution of Engineering and Technology, 1996. -558 p. - ISBN: 978-0-86341-358-2.
28. Android. Source. Develop. Sensor Types [Electronical Resource]. - URL: https://source.android.com/devices/sen-sors/sensor-types#rotation_vector (дата обращения 15.05.2019).
Сведения об авторах
Мясников Владислав Валерьевич, в 2008 защитил диссертацию на соискание степени доктора физико-математических наук. Работает профессором кафедры геоинформатики и информационной безопасности Самарского национального исследовательского университета имени академика С.П. Королева и одновременно ведущим научным сотрудником в ИСОИ РАН - филиале ФНИЦ «Кристаллография и фотоника» РАН. Круг научных интересов: компьютерное зрение, распознавание образов, искусственный интеллект, геоинформатика. Имеет более 200 публикаций, в том числе более 100 статей и две монографии (в соавторстве). Страница в интернете: http://www.ssau.ru/staff/62061001-Myasnikov-Vladislav-Valerevich . E-mail: vmyas@geosamara.ru .
Дмитриев Егор Андреевич, в 2018 году окончил Самарский национальный исследовательский университет по специальности «Информационная безопасность автоматизированных систем». В настоящее время является аспирантом Самарского национального исследовательского университета. Область научных интересов: компьютерное зрение, распознавание образов, защита информации, геоинформатика. E-mail: DmitrievEgor94@yandex.ru .
ГРНТИ: 28.23.15, 28.23.27 Поступила в редакцию 30 мая 2019 г. Окончательный вариант - 05 июня 2019 г.
The accuracy dependency investigation of simultaneous localization and mapping on the errors from mobile device sensors
V.V. Myansikov1-2, E.A. Dmitriev1 1Samara National Research University, Moskovskoye Shosse 34, 443086, Samara, Russia;
2IPSIRAS - Branch of the FSRC "Crystallography and Photonics" RAS, Molodogvardeyskaya 151, 443001, Samara, Russia
Abstract
Monocular Simultaneous Localization and Mapping (SLAM) is one of the most complex and well-known problems, affecting several scientific fields: robotics, computer vision, virtual reality. This paper aims to study the SLAM problem for the mobile device with a monocular camera and sensors: accelerometer, gyroscope and digital compass. The latter allow to obtain an additional estimation of a mobile device position and orientation. The aim is to assess the potential suitability and efficiency of using extra information from inertial sensors to improve the solution quality and to reduce the time to obtain the solution. The experimental part of the study, including both model and field experiments, allowed to determine the requirements for permissible errors introduced by the sensors of the mobile device. For a specific model of a mobile device, it is shown that the electronic compass meets these requirements, while the errors of the inertial sensors used to determine the movements are unacceptably large.
Keywords: SLAM, visual odometry, scene reconstruction, mapping, mobile device, inertial sensors, compass.
Citation: Myansikov VV, Dmitriev EA. The accuracy dependency investigation of simultaneous localization and mapping on the errors from mobile device sensors. Computer Optics 2019; 43(3): 492-503. DOI: 10.18287/2412-6179-2019-43-3-492-503.
Acknowledgements: This work was supported by the Ministry of Science and Higher Education within the State assignment FSRC "Crystallography and Photonics" RAS (agreement 007-0/^3363/26) in part of "Introduction" and "KSLAM systems architecture and review of the research current state", and Russian Foundation for Basic Research (Projects No. No. 18-01-00748 and 17-29-03190-ofi) in part of (2) "Estimation of errors of personal mobile phone sensors" -(4) "The study of the dependence of the accuracy of the solution of the problem of monocular KSLAM from the errors introduced by the sensors of mobile device".
References
[1] Horn BKP. Robot Vision. London, Cambridge: The MIT Press; 1986.
[2] Forsyth D, Ponce J. Computer vision: A modern approach. Upper Saddle River, NJ: Prentice-Hall; 2003.
[3] Shapiro L. Computer vision and image processing. Academic Press; 1992.
[4] Durrant-Whyte H, Bailey T. Simultaneous localization and mapping (SLAM): Part I. The essential algorithms. IEEE Robot Automat Mag 2006; 13(2): 99-110.
[5] Durrant-Whyte H, Bailey T. Simultaneous localization and mapping (SLAM): Part II. State of the art. IEEE Robot Automat Mag 2006; 13(3): 108-117.
[6] Cadena C, Carlone L, Carrillo H, Latif Y, Scaramuzza D, Neira J, Reid I, Leonard JJ. Past, present, and future of simultaneous localization and mapping: Toward the robust-perception age. IEEE Transactions on Robotics 2016; 32(6): 1309-1332.
[7] Younes G, Asmar D, Shammas E, Zelek J. Keyframe-based monocular SLAM: design, survey, and future directions. Robot Auton Syst 2017; 98: 67-88.
[8] Goshin YeV, Fursov AV. Solving a camera autocalibration problem with a conformed indentification method [In Russian]. Computer Optics 2012; 36(4): 605-611.
[9] Kotov AP, Fursov VA, Goshin YeV. Technology for fast 3D-scene reconstruction from stereo images [In Russian]. Computer Optics 2015; 39(4): 600-605. DOI: 10.18287/0134-2452-2015-39-4-600-605.
[10] Myasnikov, VV. Model-based gradient field descriptor as a convenient tool for image recognition and analysis [In Russian]. Computer Optics 2012; 36(4): 596-604.
[11] Fischler MA, Bolles RC. Random sample consensus: A paradigm for model fitting with applications to image analysis and automated cartography. Communications of the ACM 1981; 24(6): 381-395.
[12] Levenberg KA. Method for the solution of certain nonlinear problems in least squares. Quarterly of Applied Mathematics 2012; 2(2): 164-168.
[13] Marquardt D. An algorithm for least-squares estimation of nonlinear parameters. SIAM Journal on Applied Mathematics 1963; 11(2): 431-441.
[14] Montemerlo M, Thrun S, Koller D, Wegbreit D. FastSLAM: A factored solution to the simultaneous localization and mapping problem. Proc AAAI Nat Conf Artif Intell 2002: 593-598.
[15] Klein G, Murray D. Parallel tracking and mapping for small AR workspaces. Proc IEEE and ACM Int Symp Mixed Augmented Reality (ISMAR) 2007: 225-234.
[16] Engel J, Sturm J, Cremers D. Semi-dense visual odometry for a monocular camera. Int Conf Computer Vision (ICCV) 2013: 1449-1456.
[17] Engel J, Sturm J, Cremers D. LSD-SLAM: Large-scale direct monocular SLAM. European Conference on Computer Vision (ECCV) 2017: 834-849.
[18] Mur-Artal R, Montiel JMM, Tardos JD. ORB-SLAM: A versatile and accurate monocular SLAM. IEEE Transactions on Robotics 2017; 31(5): 1147-1163.
[19] Newcombe RA, Lovegrove SJ, Davison AJ. DTAM: dense tracking and mapping in real-time. IEEE Int Conf Computer Vision 2011: 2320-2327.
[20] Stühmer J, Gumhold S, Cremers D. Real-time dense geometry from a handheld camera. Pattern Recognition (DAGM) 2010: 11-20.
[21] Tanskanen P, Kolev K, Meier L, Paulsen FC, Saurer O, Pollefeys M. Live metric 3D reconstruction on mobile phones. IEEE Int Conf Computer Vision 2013: 65-72.
[22] Roxas M, Oishi T. Real-time simultaneous 3D reconstruction and optical flow estimation. IEEE Winter Conference on Applications of Computer Vision (WACV) 2018: 885893.
[23] Schuster R, Wasenmüller O, Didier S. Dense scene flow from stereo disparity and optical flow. Computer Science in Cars Symposium 2018.
[24] Kummerle R, Steder B, Dornhege C, Ruhnke M, Grisetti G, Stachniss C, Kleiner A. On measuring the accuracy of SLAM algorithms. Autonomous Robots 2009; 27(4): 387-407.
[25] Ma Z, Qiao Y, Lee B, Fallon B. Experimental evaluation of mobile phone sensors. 24th IET Irish Signals and Systems Conference 2013: 49.
[26] Kok M, Hol JD, Schon TB. Using inertial sensors for position and orientation estimation. Foundations and Trends in Signal Processing 2017; 11(1-2): 1-153.
[27] Titterton DH, Weston JL. Strapdown inertial navigation technology. London, UK, Reston, Virginia: Institution of Engineering and Technology; 1996. ISBN: 978-0-86341-358-2.
[28] Android. Source. Develop. Sensor Types. Source: (https://source.android.com/devices/sensors/sensor-types#rotation_vector).
Author's information
Vladislav Valerievich Myasnikov, received his DrSc degree in Physics & Maths (2008). Currently he works as a professor at the Geoinformatics and Information Security department in Samara National Research University and, at the same time, as a leading researcher at the IPSI RAS, a branch of the Russian Academy of Sciences 'Crystallography and Photonics' RAS. The range of scientific interests: computer vision, pattern recognition and artificial intelligence, and geoinformatics. He has about 200 publications, including more than 100 articles and two monographs. http://www.ssau.ru/staff/62061001-Myasnikov-Vladislav-Valerevich. E-mail: vmyas@geosamara.ru .
Egor Andreevich Dmitriev (b. 1994) graduated from Samara National Research University in 2018, majoring in Information Security of Automated Systems. Currently, he is a postgraduate student of the Samara National Research University. His research interests are currently focused on computer vision, pattern recognition, information security, GIS. E-mail: DmitrievEgor94@yandex.ru .
Received May 30, 2019. The final version - June 05, 2019.
