CC BY
133
НАУЧНО-ТЕХНИЧЕСКИИ ВЕСТНИК ИНФОРМАЦИОННЫХ ТЕХНОЛОГИИ, МЕХАНИКИ И ОПТИКИ май-июнь 2017 Том 17 № 3 ISSN 2226-1494 http://ntv.ifmo.ru/
SCIENTIFIC AND TECHNICAL JOURNAL OF INFORMATION TECHNOLOGIES, MECHANICS AND OPTICS
May-June 2017
Vol. 17 No 3 ISSN 2226-1494
http://ntv.ifmo.ru/en
УДК 004.42
СОВЕРШЕНСТВОВАНИЕ АЛГОРИТМА ВИЗУАЛЬНОЙ ОДОМЕТРИИ ДЛЯ РЕШЕНИЯ ЗАДАЧИ ОДНОВРЕМЕННОЙ НАВИГАЦИИ БЕСПИЛОТНОГО ЛЕТАТЕЛЬНОГО АППАРАТА И ПОСТРОЕНИЯ КАРТЫ
ЗЕМНОЙ ПОВЕРХНОСТИ В.Н. Шведенко3, А. С. Викторовь a ООО «Регул +», Санкт-Петербург, 197101, Российская Федерация b Костромской государственный университет, Кострома, 156005, Российская Федерация Адрес для переписки: [email protected] Информация о статье
Поступила в редакцию 01.03.17, принята к печати 27.03.17 doi: 10.17586/2226-1494-2017-17-3-475-482 Язык статьи - русский
Ссылка для цитирования: Шведенко В.Н., Викторов А.С. Совершенствование алгоритма визуальной одометрии для решения задачи одновременной навигации беспилотного летательного аппарата и построения карты земной поверхности // Научно-технический вестник информационных технологий, механики и оптики. 2017. Т. 17. № 3. С. 475-482. doi: 10.17586/2226-1494-201717-3-475-482
Аннотация
Рассмотрена возможность применения алгоритма визуальной одометрии для разреженной трехмерной реконструкции и построения карты земной поверхности. Съемка производится камерой, установленной на беспилотном летательном аппарате, во время перемещения его по заданной траектории. Разреженная реконструкция и построение карты осуществляются с применением алгоритма визуальной одометрии, который производит извлечение информации о геометрии специальным образом отобранных точек земной поверхности (точек-ориентиров) на основании данных, поступающих от инерциальной навигационной системы, и информации, извлеченной из фотоснимков земной поверхности. Одновременно с реконструкцией геометрии земной поверхности производится уточнение пространственного положения и ориентации летательного аппарата, что важно для получения качественной реконструкции земной поверхности в высоком разрешении при помощи методов стереофотограмметрии или в случае использования лазерного сканера при помощи методов points clouds alignment (совмещение облаков точек). Предложен способ улучшения качества работы алгоритма визуальной одометрии для повышения точности оценки пространственного положения и ориентации аппарата, а также качества реконструкции земной поверхности. Для повышения качества работы алгоритма визуальной одометрии предложен оригинальный алгоритм обнаружения и отбора точек-ориентиров земной поверхности. Предлагаемый модифицированный алгоритм визуальной одометрии может найти широкое применение для навигации автономных транспортных средств, а также в информационных системах, предназначенных для обработки данных дистанционного зондирования Земли. Ключевые слова
метод визуальной одометрии, метод одновременной навигации и построения карты, расширенный фильтр Калмана, бинарный классификатор, обучение с подкреплением, нейронная сеть, скорость сходимости
IMPROVED VISUAL ODOMETRY METHOD FOR SIMULTANEOUS UNMANNED AERIAL VEHICLE NAVIGATION AND EARTH SURFACE MAPPING
V.N. Shvedenko3, Ä.S. Victorovb
a "Regul +", PLC, Saint Petersburg, 197101, Russian Federation b Kostroma State University, Kostroma, 156005, Russian Federation Corresponding author: [email protected]
Article info
Received 01.03.17, accepted 27.03.17 doi: 10.17586/2226-1494-2017-17-3-475-482 Article in Russian
For citation: Shvedenko V.N., Victorov A.S. Improved visual odometry method for simultaneous unmanned aerial vehicle navigation and earth surface mapping. Scientific and Technical Journal of Information Technologies, Mechanics and Optics, 2017, vol. 17, no. 3, pp. 475482 (in Russian). doi: 10.17586/2226-1494-2017-17-3-475-482
Abstract
The paper deals with application possibility of visual odometry algorithm for sparse three-dimensional reconstruction and earth surface mapping. Photography is taken by camera mounted on unmanned aerial vehicle during its flying along the
specified trajectory. The sparse three-dimensional reconstruction and mapping are based on ability of visual odometry algorithm that retrieves information about geometry of specially selected landmarks on the basis of data received from inertial navigation system, and information retrieved from earth surface photographs. Simultaneously with earth surface reconstruction we define more precisely spatial position and orientation of aircraft that is important for acquisition of qualitative earth surface reconstruction with high resolution by means of stereophotogrammetry methods or by means of points clouds alignment methods in case of laser scanner usage. We have also proposed a method for quality improvement of visual odometry algorithm for precision increase of aircraft spatial position and orientation estimation, and also for earth surface reconstruction quality improvement. For visual odometry algorithm quality improvement we have proposed an original algorithm for detection of earth surface landmarks. Proposed modified visual odometry algorithm can find wide application for different autonomous vehicle navigation, and also as a part of informational system proposed for the Earth remote sensing data processing. Keywords
visual odometry method, simultaneous navigation and mapping method, extended Kalman filter, binary classifier, reinforcement learning, neural network, convergence rate
Введение
В настоящее время происходит интенсивное развитие геоинформационных сервисов, по мере развития которых требуются детальные цифровые модели местности (ЦММ), при этом актуальна не только проблема их оперативного создания, но и обновления. Наиболее перспективное решение данной проблемы - использование данных дистанционного зондирования земли (ДДЗ), полученных с беспилотного летательного аппарата (БПЛА) [1]. Для формирования ЦММ, как правило, используются данные, полученные с лазерного сканера, установленного на БПЛА, или данные, полученные с фотокамер. При использовании данных лазерного сканирования для формирования ЦММ используются методы point cloud alignment [2], а при использовании данных, полученных с фотокамер, используются методы стереофото-грамметрии [3]. При использовании различных типов сканеров и методик для построения детальной и точной ЦММ необходимо знать реальную траекторию перемещения БПЛА во время проведения сканирования как можно точнее [4]. Необходимость уточнения пространственного положения и ориентации аппарата связана с тем, что на управляющие системы аппарата в процессе осуществления полета оказывают влияние различные возмущающие воздействия. Обзор и анализ современной литературы, описывающей методы определения реального пространственного положения и ориентации аппарата, показал, что наиболее перспективный подход для решения данной задачи - использование [5] алгоритма визуальной одометрии. В настоящей работе предлагается реализация алгоритма визуальной одометрии [6, 7], производящего уточнение пространственного положения и ориентации БПЛА во время перемещения аппарата по заданной траектории с использованием данных, полученных от инерциальной навигационной системы. Особенностью рассматриваемого метода является то, что одновременно c уточнением пространственного положения и ориентации аппарата производится разреженная трехмерная реконструкция и построение карты земной поверхности.
Принцип работы рассматриваемого алгоритма визуальной одометрии заключается в формировании набора данных, содержащего информацию о геометрии точек-ориентиров, сканируемой сенсорами аппарата земной поверхности. В предлагаемом алгоритме будут использоваться известные решения расширенного фильтра Калмана [8]. Точки-ориентиры отбираются при помощи специального алгоритма, после чего значение глубины точки-ориентира инициализируется случайным образом. Для хранения информации о геометрии точки используется специальная [9, 10] параметризация геометрии и структура данных. В вычислительном цикле фильтра Калмана производится оценка пространственного положения и ориентации БПЛА, а также оценка реальной геометрии точек-ориентиров. Вычислительный цикл фильтра Калмана состоит из фазы прогноза и коррекции. Во время фазы прогноза производится интерполяция переменных, описывающих состояние системы, и ковариационной матрицы ошибки оценки состояния системы. Для реализации фазы прогноза используется алгоритм, предложенный в работе [11]. Во время фазы коррекции производится обновление оценки состояния системы и ковариационной матрицы ошибки оценки ее состояния. Для фазы коррекции используется итеративная реализация алгоритма коррекции состояния, описанная в работе [12], которая позволяет не обновлять оценку состояния всей системы сразу, а последовательно в цикле обновлять оценку переменных состояния, соответствующих разным точкам-ориентирам.
Поскольку сканирование проводится в различных метеоусловиях, измерения, производимые сканером, содержат шумовую составляющую, а на сканируемой земной поверхности могут присутствовать нестатичные объекты, которые изменяют свое положение или форму, для качественной работы алгоритма визуальной одометрии важно своевременно обнаруживать точки-ориентиры, которые негативно влияют на работу алгоритма. При обнаружении точек-ориентиров, негативно влияющих на работу алгоритма, производится исключение соответствующих переменных состояния из вычислительного цикла. Существуют такие методы, как KALMANSAC [13], которые позволяют детектировать сильно зашумленные измерения, но рассматриваемый тип методов недостаточно пригоден для условий, в которых работает алгоритм визуальной одометрии при проведении сканирования земной поверхности сканером, установленном
на БПЛА. Для поиска сильно зашумленных измерений предлагается использовать бинарный классификатор. Наиболее подходящим вариантом для реализации бинарного классификатора, который в рассматриваемом случае будет производить анализ данных, представленных в виде временной последовательности, является применение специальной разновидности рекуррентной нейронной сети (Recurrent neural network, RNN), называемой LSTM [14] (long short-term memory). Нейронная сеть LSTM широко используется для анализа временных последовательностей и предсказания значений последовательности, даже если нарушена периодичность генерации данных. Нейронная сеть LSTM состоит из LSTM-модулей, схематическое изображение которого представлено на рис. 1. Каждый из модулей, как изображено на рис. 1, состоит из: входного вентиля (input gate), который генерирует вектор весов it и предназначен для контроля меры влияния новых входных данных, представленных вектором xt, на состояние ячейки памяти, которое представлено вектором состояния ct; выходного вентиля (output gate), который генерирует вектор весов ot и предназначен для контроля меры влияния состояния ячейки на значение выходного сигнала ht; вентиля забывания (forget gate), который генерирует вектор весов ft и предназначен для контроля меры влияния предыдущего состояния ячейки на новое.
Рис. 1. Схематическое изображение модуля 1_ЭТМ
Модуль Ь8ТМ преобразует входной сигнал в выходной сигнал с учетом входного сигнала, поступившего на его вход в предыдущий момент времени. Обучение нейронной сети, состоящей из модулей Ь8ТМ, заключается в поиске такой конфигурации весов и параметров модулей Ь8ТМ, которая бы минимизировала функцию потерь, которая учитывает отклонение выходного сигнала нейронной сети Ь8ТМ от заданного сигнала. Обучение классификатора производится с использованием записи данных телеметрии, полученных с БПЛА, осуществившего аэрофотосъемку, при этом для обучения используется метод обучения с подкреплением.
Обучение с подкреплением основано на модели взаимодействия агент-среда, которая заключается в генерации в каждый дискретный момент времени , некоторого действия в соответствии с выработанной
политикой л (а, | ) в зависимости от текущего состояния з, среды. Среда под действием сгенерированного воздействия изменяет свое состояние и переходит в состояние , на основании которого агенту генерируется вознаграждение. Задача агента заключается в выработке такой политики [15], которая максимизировала бы вознаграждение, получаемое от среды. Оптимальная политика должна удовлетворять условию Беллмана:
Q (, я,; % ) = г (S(, я,) + у • 1 st, at) так Q (S(+1, я,+1; % )
где Q %(st, at ) = E%
£yt"t • г(s^ a,)
- action-value функция, которая задает ожидаемое полное вознагра-
ждение при осуществлении политики п; у - коэффициент переоценки. Для поиска оптимальной политики необходимо выработать такую политику, которая максимизирует полное вознаграждение %* (a|s) = arg max Q (s, a). Для поиска оптимальных параметров классификатора производится оптимиза-
a
ция методом стохастического градиента функции потерь, имеющей вид L (0) = Ер (г (s, a) + у - max Q (, a '; 0") - Q (s, a; 0))
где Q (s' , a '; 0") - текущая функция, используемая для выбора действия; Q(s, a; 0) - функция, используемая для выбора действия на предыдущем шаге.
Организация вычислительного цикла алгоритма визуальной одометрии
В настоящей работе для улучшения качества обнаружения точек-ориентиров, которые соответствуют сильно зашумленным измерениям, предлагается производить их детектирование, анализируя скорость сходимости их ошибки измерения. Для анализа скорости сходимости предлагается использовать бинарный классификатор, построенный на основе LSTM-модулей. Классификатор, схема которого представлена на рис. 2, состоит из нейронной сети FCNN (fully connected neural network), на вход которой подается вектор числовых характеристик e,. input = {ej0,eu,...,ej C_J, сформированный из полученной в различные дискретные моменты времени ошибки измерения ,-ой точки-ориентира, где C - количество отсчетов ошибки измерения, используемых для анализа ее сходимости. Ошибка измерения ,-ой точки-ориентира, информация о геометрии которой используется в вычислительном цикле алгоритма фильтра Калмана, вызвана неточностью оценки ее положения. При этом анализ скорости сходимости проводится только для точек-ориентиров, для которых ошибка измерения больше некоторого заданного порогового уровня. Нейронная сеть нужна для предварительной фильтрации входного сигнала.
Рис. 2. Схема бинарного классификатора
Сигнал с выхода нейронной сети x; fitter подается на входной слой нейронной сети, состоящей из
LSTM-модулей, для предсказания отсутствующих измерений и анализа вектора ошибки измерения точки. Входной слой LSTM-сети представляет собой цепочку из C элементов LSTM, где C - количество отсчетов ошибки измерения, используемых для анализа ее сходимости. Сигнал с выхода LSTM-сети rv est имеет размерность, равную размерности входного сигнала x; ßter. LSTM-сеть построена по схеме many to many. Многомерный сигнал с выхода LSTM- сети подается на вход модуля action-value ß-функции, который предназначен для предсказания полного ожидаемого вознаграждения Q* (s,a), и на вход модуля action module, который предназначен для выработки действия ДО, на основании анализа последовательности сигналов с выхода LSTM-сети. Для анализа последовательности сигналов с целью оценки вознаграждения, нейронная сеть, входящая в состав данных модулей, состоит из LSTM-модулей. Выходной сигнал с LSTM-сети подается на вход logistic regression модуля логистической регрессии, который производит предсказание принадлежности входного сигнала к сильно зашумленному сигналу или слабо зашумлен-ному сигналу. Классификатор генерирует на выходе бинарный сигнал, указывающий, отбраковывать ли точку-ориентир или оставить информацию о ее геометрии в вычислительном цикле. Обучение рассматриваемого классификатора производится на обучающей выборке, извлеченной из записи данных телеметрии, полученных с БПЛА.
Для обучения классификатора используется техника обучения с подкреплением (reinforcement learning). Для оценки вознаграждения производится вычисление RMSE (root mean square error) ошибки измерения для точек-ориентиров, информация о геометрии которых используется в цикле вычислений фильтра Калмана, и ошибка измерений для которых выше заданного порогового уровня. Вознаграждение вычисляется как функция RMSE и количества отобранных точек N, которые не отбраковываются:
r(s, a) =-1---,
г , --max(0, thr - N)
RMSE ■ max (ß, max (RMSE, (RMSE) ))N+1
где ß> 1 - минимальный штраф за недобор точек; thr - пороговое минимальное количество точек-
ориентиров, которое необходимо выбрать для обеспечения нормального функционирования алгоритма визуальной одометрии; N - количество отобранных точек. Задача алгоритма обучения с подкреплением
сводится к поиску такой конфигурации параметров классификатора 0, которая минимизировала бы КМ8Б и тем самым максимизировала вознаграждение.
Конфигурация параметров классификатора 0 представлена вектором размерности, определяемой количеством параметров классификатора. Для поиска оптимальной конфигурации параметров классификатора используется метод перекрестной энтропии. При этом мы принимаем, что возможные наилучшие варианты изменения весов классификатора распределены в соответствии с многомерным нормальным распределением Д0 ~ N (ц, о). Реализация метода перекрестной энтропии состоит из двух стадий. Во время первой стадии в каждом цикле вычислений из распределения приращения весов классификатора р(Д0) извлекается М образцов Д0, =|Д01,,..., Д0М1} методом Гиббса, для каждого из которых вычисляется вознаграждение г (з, а) и Q(з ', а') - ожидаемое вознаграждение. Во время второй стадии все образцы сортируются в соответствии со значением вознаграждения, после чего производится отбор N лучших образцов на основании значения вознаграждения Д0",,е = ^0^7,...,Д0^'"} . Далее производится обновление параметров распределения р (Д0): ц, = а-М С'") + (1 -а)-ц,_1
, (1)
о, = а -5(Д0е'"е) + (1 -а)-о,-1
/ , ч „ Д0ей,е , ч | ( Д0 ' -М( Д0 ' )) где 0,5 <а<0,9 - сглаживающий фактор; М(Д0"'"е) = £—'— ; 5(Д0;"") =
isN
N ytN N
Для обновления параметров классификатора из отобранных образцов отбирается образец A0best с лучшим полным ожидаемым вознаграждением. Для поиска оптимальной политики в каждом цикле вычислений производится поиск оптимальной конфигурации параметров классификатора, которая бы максимизировала вознаграждение. Параллельно с поиском оптимальной конфигурации параметров классификатора производится обучение модуля выбора вектора A0, способного по набору состояний выхода LSTM-сети классификатора генерировать вектор изменения весов классификатора A0 и, таким образом, производить настройку параметров классификатора. Так как оптимальное значение RMSE и оптимальное количество точек-ориентиров, которое необходимо выбрать для обеспечения нормального функционирования алгоритма визуальной одометрии, заранее известно, то и полное оптимальное значение вознаграждения Q* (s, a) тоже известно. Обучение модуля action-value Q-функции, используемой для оценки ожидаемого вознаграждения путем анализа последовательности выходных сигналов с LSTM-сети классификатора, производится минимизацией последовательности значений функции потерь Li (0f), которая изменяется
в каждом цикле вычислений i.
Алгоритм обнаружения сильно зашумленных измерений можно представить в виде следующей последовательности действий.
1. Инициализируются весовые коэффициенты 0 классификатора случайным образом. Инициализируется распределение приращения весов классификатора A0 ~ N (ц0, ст0 • I), где ц0 - начальное значение вектора математических ожиданий; ст0 - начальное значение среднеквадратического отклонения; I -единичная матрица, размер которой равен размерности вектора I .
2. Запускается процедура поиска конфигурации параметров классификатора, которая бы максимизировала бы вознаграждение. Процедура продолжается до тех пор, пока вознаграждение r (s, a) не превысит заданного значения. Если не наблюдается значительного прироста вознаграждения r (s, a) на протяжении заданного количества циклов, то обновление параметров классификатора производится следующим образом: 0i+1 = 0,. + р- A0best, р > 1 - коэффициент усиления.
3. Методом Гиббса из распределения p(A0) извлекается M образцов A0={A0j,t,...,A0M,t j приращений параметров классификатора. Для каждого образца вычисляется значение градиента функции потерь. Для этого производится эмуляция цикла фильтра Калмана, на основе которого построен алгоритм визуальной одометрии. Перед началом эмуляции производится изменение параметров классификатора и отбор классификатором с обновленными параметрами точек-ориентиров, для которых ошибка измерения в предыдущем цикле вычислений была выше заданного порогового уровня. После завершения эмулируемой фазы коррекции фильтра Калмана производится вычисление RMSE для всех точек-ориентиров, для которых ошибка измерения выше заданного порогового уровня. На осно-
вании значения RMSE производится вычисление вознаграждения. Производится оценка ожидаемого вознаграждения Q (s', a') модулем action-value Q-функции.
4. Образцы приращений параметров классификатора сортируются в соответствии со значением вознаграждения r(s,a), после чего производится отбор N лучших образцов A0fte ={A0ff,...,Д0^} на
основании значения вознаграждения. Производится обновление параметров распределения в соответствии с выражением (1).
5. Производится обновление параметров классификатора образцом A0bes" с лучшим полным ожидаемым вознаграждением r(s,a) + y-Q(s',a'). Производится обновление параметров модуля action-value Q (s, a) функции методом градиентного спуска на основании градиента функции потерь:
veL (0f ) = ESa~я;s~, [(r (s, a) + у • maxQ (s', a'; 0;-) - Q (s, a; 0f )) • Ve_Q (s, a; 0f ) .
6. Производится обучение нейронной сети, входящей в состав модуля выбора вектора Д0 и изменение параметров классификатора, если значение градиента функции потерь V0Li (0f) ниже заданного
уровня. Для обучения на вход нейронной сети подается последовательность сигналов с выхода LSTM-сети классификатора. Далее производится поиск конфигурации параметров нейронной сети, которая минимизирует несоответствие сигнала на выходе сети с сигналом Д0Ьет", методом стохастического градиента.
Для улучшения работы алгоритма визуальной одометрии также предлагается для только что про-инициализированных точек-ориентиров производить вычисление ошибки измерения, используя в качестве меры усредненное значение несоответствия цвета AD (absolute difference) соответствующих пикселей и их окрестностей на смежных изображениях до тех пор, пока значение ошибки измерения не станет меньше заданного порогового. После чего использовать, для вычисления ошибки измерения, Евклидово расстояние между дескрипторами, извлеченными алгоритмом SURF (speedup and robust feature).
Экспериментальное исследование алгоритма
Для оценки качества работы предложенного модифицированного алгоритма визуальной одометрии и целесообразности использования разработанного алгоритма поиска сильно зашумленных измерений был проведен эксперимент, в котором для обучения детектора сильно зашумленных измерений и оценки качества работы алгоритма визуальной одометрии использовался набор данных с веб-ресурса1. Обучение детектора и оценка качества работы алгоритма визуальной одометрии производились на персональном компьютере со следующими характеристиками: центральный процессор - Intel Core i7-6700K; оперативная память - 8 ГБ; видеопроцессор - NVIDIA GEFORCE GTX 980 Ti; операционная система - Ubuntu 14.04 LTS. Для проверки работоспособности и целесообразности применения предложенного алгоритма было проведено тестирование алгоритма, во время которого измерялась RMSE для точек-ориентиров, ошибка измерений для которых выше заданного порогового уровня. Ошибка измерения вычислялась как усредненное значение несоответствия цвета AD (absolute difference) соответствующих пикселей и их окрестностей на смежных изображениях при допущении, что трансформация между окрестностями двух соответствующих пикселей аффинная. Результаты тестирования показали преимущество предложенного алгоритма над алгоритмом KALMANSAC (рис. 3).
10
W т
Pi
0
5
20
10 15
Время, с
Рис. 3. Сравнение ошибки измерения отобранных точек алгоритмом КАЬМАЫЭАС и авторским алгоритмом, 1 — авторский алгоритм, 2 — КАЬМАЫЭАС
1 sensefly URL: https://www.sensefly.com/drones/example-datasets.html (дата обращения: 09.2016).
5
Заключение
В результате проведенного исследования были внесены изменения в алгоритм визуальной одомет-рии, который применяется для решения задачи одновременной навигации беспилотного летательного аппарата и построения карты земной поверхности. Введенные изменения повысили робастность и точность алгоритма, что было показано в результате сравнительного анализа существующего и предложенного алгоритмов. В частности, был предложен оригинальный алгоритм детектирования сильно зашум-ленных измерений геометрии точек-ориентиров с использованием нейронной сети LSTM и алгоритма обучения с подкреплением. Предложенный модифицированный алгоритм предназначен для работы в составе систем сбора и анализа геопространственных данных, в частности, для оперативного обновления моделей местности в геопространственных базах данных. Также рассматриваемый метод может найти применение для навигации беспилотных и пилотируемых летательных аппаратов, реконструкции геометрии поверхностей с использованием алгоритма оптического потока. Разработанный алгоритм детектирования сильно зашумленных измерений может быть адаптирован для анализа потоков данных, с целью выявления сбоев в работе или неправильном функционировании различных систем сбора информации, и для поиска искажений, намеренно вносимых в поток данных.
Литература
1. Ramirez-Torres J.G., Larranaga-Cepeda A. Real-time reconstruction of heightmaps from images taken with an UAV // Robotics and Mechatronics. 2015. V. 37. P. 221-231. doi: 10.1007/978-3-319-22368-1_22
2. Holz D., Behnke S. Registration of non-uniform density 3D laser scans for mapping with micro aerial vehicles // Robotics and Autonomous Systems. 2015. V. 74. P. 318-330. doi: 10.1016/j.robot.2015.07.021
3. Haala N., Cavegn S. High density aerial image matching: state-of-the-art and future prospects // Proc. 23rd Int. Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences. Prague, Czech, 2016. V. 41. P. 625-630. doi: 10.5194/isprsarchives-XLI-B4-625-2016
4. Fuentes-Pacheco J., Ruiz-Ascencio J., Rendon-Mancha J.M. Visual simultaneous localization and mapping: a survey // Artificial Intelligence Review. 2015. V. 43. N 1. P. 55-81. doi: 10.1007/s10462-012-9365-8
5. Caballero F., Merino L., Ferruz J., Ollero A. Vision-based odometry and SLAM for medium and high altitude flying UAVs // Journal of Intelligent and Robotic Systems. 2009. V. 54. N 1-3. P. 137-161. doi: 10.1007/s10846-008-9257-y
6. Mourikis A.I., Trawny N., Roumeliotis S.I., Johnson A.E., Ansar A., Matthies L. Vision-aided inertial navigation for spacecraft entry, descent, and landing // Journal of Intelligent and Robotic Systems. 2009. V. 25. N 2. P. 264-280. doi: 10.1109/TR0.2009.2012342
7. Teuliere C., Eck L., Marchand E., Guenard N. 3D model-based tracking for UAV position control // IEEE/RSJ Int. Conf. on Intelligent Robots and Systems. Taipei, Taiwan, 2010. N 1. P. 1084-1089. doi: 10.1109/IR0S.2010.5649700
8. Huang Y., Song T.L. Iterated modified gain extended Kalman filter with applications to bearings only tracking // Journal of Automation and Control Engineering. 2015. V. 3. N 6. P. 475479. doi: 10.12720/joace.3.6.475-479
9. Civera J., Davison A.J., Montiel J.M.M. Inverse depth parametrization for monocular SLAM // IEEE Transactions on Robotics. 2008. V. 24. N 5. P. 932-945. doi: 10.1109/TR0.2008.2003276
10. Marzorati D., Matteucci M., Migliore D., Sorrenti D.G. Monocular SLAM with inverse scaling parametrization // Proc. 19th British Machine Vision Conference. Leeds, UK, 2008. V. 24. P. 22-94. doi: 10.5244/C.22.94
11. Khan R., Sottile F., Spirito M.A. Hybrid positioning through extended Kalman filter with inertial data fusion // International Journal of Information and Electronics Engineering. 2013. V. 3. N 1. P. 127-131. doi: 10.7763/ijiee.2013.v3.281
12. Steffen R. A robust iterative Kalman filter based on implicit measurement equations // Photogrammetrie, Fernerkundung, Geoinformation. 2013. N 4. P. 323-332. doi: 10.1127/14328364/2013/0180
13. Vedaldi A., Jin H., Favaro P., Soatto S. KALMANSAC: robust filtering by consensus // Pros. 10th IEEE Int. Conf. on Computer Vision. Los Angeles, USA, 2005. V. 1. P. 633-640. doi:
References
1. Ramirez-Torres J.G., Larranaga-Cepeda A. Real-time reconstruction of heightmaps from images taken with an UAV. Robotics and Mechatronics, 2015, vol. 37, pp. 221-231. doi: 10.1007/978-3-319-22368-1_22
2. Holz D., Behnke S. Registration of non-uniform density 3D laser scans for mapping with micro aerial vehicles. Robotics and Autonomous Systems, 2015, vol. 74, pp. 318-330. doi: 10.1016/j.robot.2015.07.021
3. Haala N., Cavegn S. High density aerial image matching: state-of-the-art and future prospects. Proc. 23rd Int. Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences. Prague, Czech, 2016, vol. 41, pp. 625-630. doi: 10.5194/isprsarchives-XLI-B4-625-2016
4. Fuentes-Pacheco J., Ruiz-Ascencio J., Rendon-Mancha J.M. Visual simultaneous localization and mapping: a survey. Artificial Intelligence Review, 2015, vol. 43, no. 1, pp. 55-81. doi: 10.1007/s10462-012-9365-8
5. Caballero F., Merino L., Ferruz J., Ollero A. Vision-based odometry and SLAM for medium and high altitude flying UAVs. Journal of Intelligent and Robotic Systems, 2009, vol. 54, no. 1-3, pp. 137-161. doi: 10.1007/s10846-008-9257-y
6. Mourikis A.I., Trawny N., Roumeliotis S.I., Johnson A.E., Ansar A., Matthies L. Vision-aided inertial navigation for spacecraft entry, descent, and landing. Journal of Intelligent and Robotic Systems, 2009, vol. 25, no. 2, pp. 264-280. doi: 10.1109/TR0.2009.2012342
7. Teuliere C., Eck L., Marchand E., Guenard N. 3D model-based tracking for UAV position control. IEEE/RSJ Int. Conf. on Intelligent Robots and Systems. Taipei, Taiwan, 2010, no. 1, pp. 1084-1089. doi: 10.1109/IR0S.2010.5649700
8. Huang Y., Song T.L. Iterated modified gain extended Kalman filter with applications to bearings only tracking. Journal of Automation and Control Engineering, 2015, vol. 3, no. 6, pp. 475-479. doi: 10.12720/joace.3.6.475-479
9. Civera J., Davison A.J., Montiel J.M.M. Inverse depth parametrization for monocular SLAM. IEEE Transactions on Robotics, 2008, vol. 24, no. 5, pp. 932-945. doi: 10.1109/TR0.2008.2003276
10. Marzorati D., Matteucci M., Migliore D., Sorrenti D.G. Monocular SLAM with inverse scaling parametrization. Proc. l9h British Machine Vision Conference. Leeds, UK, 2008, vol. 24, pp. 22-94. doi: 10.5244/C.22.94
11. Khan R., Sottile F., Spirito M.A. Hybrid positioning through extended Kalman filter with inertial data fusion. International Journal of Information and Electronics Engineering, 2013, vol. 3, no. 1, pp. 127-131. doi: 10.7763/ijiee.2013.v3.281
12. Steffen R. A robust iterative Kalman filter based on implicit measurement equations. Photogrammetrie, Fernerkundung, Geoinformation, 2013, no. 4, pp. 323-332. doi: 10.1127/14328364/2013/0180
13. Vedaldi A., Jin H., Favaro P., Soatto S. KALMANSAC: robust filtering by consensus. Pros. 10th IEEE Int. Conf. on Computer Vision. Los Angeles, USA, 2005, vol. 1, pp. 633-640. doi:
10.1109/ICCV.2005.130
14. Gers F.A., Schraudolph N.N., Schmidhuber J. Learning precise timing with LSTM pecurrent networks // The Journal of Machine Learning Research. 2003. V. 3. N 1. P. 115-143. doi: 10.1162/153244303768966139
15. Mnih V., Kavukcuoglu K., Silver D., Graves A., Antonoglou I., Wierstra D., Riedmiller M. Playing Atari with deep reinforcement learning // NIPS Deep Learning Workshop. 2013. arXiv:1312.5602
10.1109/ICCV.2005.130
14. Gers F.A., Schraudolph N.N., Schmidhuber J. Learning precise timing with LSTM pecurrent networks. The Journal of Machine Learning Research, 2003, vol. 3, no. 1, pp. 115-143. doi: 10.1162/153244303768966139
15. Mnih V., Kavukcuoglu K., Silver D., Graves A., Antonoglou I., Wierstra D., Riedmiller M. Playing Atari with deep reinforcement learning. NIPS Deep Learning Workshop, 2013, arXiv:1312.5602
Авторы
Шведенко Владимир Николаевич - доктор технических наук, профессор, научный руководитель проекта, ООО «Регул +», Санкт-Петербург, 197101, Российская Федерация, [email protected]
Викторов Александр Сергеевич - аспирант, Костромской государственный университет, Кострома, 156005, Российская Федерация, [email protected]
Authors
Vladimir N. Shvedenko - D.Sc., Professor, Project supervisor, "Regul +", PLC, Saint Petersburg, 197101, Russian Federation, [email protected]
Alexander S. Victorov - postgraduate, Kostroma State University, Kostroma, 156005, Russian Federation, [email protected]
