CC BY
41
ИНФОРМАЦИОННЫЕ КОМПЛЕКСЫ И СИСТЕМЫ DATA PROCESSING FACILITIES AND SYSTEMS
УДК 004.896, 681.5
ПРИНЦИПЫ ОПРЕДЕЛЕНИЯ ОРИЕНТАЦИИ АВТОНОМНЫХ МОБИЛЬНЫХ ОБЪЕКТОВ С ИСПОЛЬЗОВАНИЕМ ВИЗУАЛЬНОЙ ИНФОРМАЦИИ
В последнее время автономные мобильные роботизированные комплексы завоевывают все большую популярность при решении широкого спектра задач. Такие комплексы, как правило, оперируют в среде, где отсутствует возможность контроля ее параметров извне. С целью автономной навигации в подобных условиях рассматриваемые средства должны быть оснащены различными датчиками, в качестве которых, в первую очередь, выступают датчики кинематических параметров и видеосенсоры.
Характерными особенностями автономных мобильных платформ являются малый размер и высокая маневренность. Ввиду ограничений по габаритам подход с установкой датчиков на гиростабилизированной платформе принципиально не реализуем. Поэтому инерциальные датчики, установленные на таком объекте, в большей степени подвержены влиянию целого ряда возмущающих воздействий, что в конечном итоге приводит к росту погрешности в оценках положения объекта. С другой стороны, маневренность платформы обуславливает необходимость в эффективных и точных средствах для определения ее положения.
В статье рассматривается проблема определения ориентации мобильного объекта в пространстве по результатам обработки изображений, полученных от установленной на нем видеокамеры. Анализируются современные подходы и методы обработки изображений, применяемые для извлечения информации об углах крена и тангажа. Описываются типичные проблемы, с которыми сталкиваются исследователи при решении подобных задач, приводятся рекомендации по выбору того или иного метода.
Ключевые слова: определение ориентации, детектирование горизонта, автономные средства передвижения, роботизированные комплексы, обработка изображений
Жалбеков И.М. Zhalbekov I.M.
аспирант, кафедра «Информационно-управляющие системы», ФГБОУ ВО «Уфимский государственный университет экономики и сервиса», Россия, г. Уфа
Перш Я. Рег§ J.
доктор технических наук, профессор, лаборатория
машинного видения, Университет Любляны, Словения, г. Любляна
Крымский В.Г. Krymsky V.G.
доктор технических наук, профессор, заведующий кафедрой «Информационно-управляющие системы», ФГБОУ ВО «Уфимский государственный университет экономики и сервиса», Россия, г. Уфа
PRINCIPLES OF ATTITUDE ESTIMATION FOR AUTONOMOUS VEHICLES
BASED ON VISUAL DATA
Autonomous mobile robots gain popularity in solving broad spectrum of problems. Those vehicles usually operate in an uncontrollable environment. In order to successfully navigate in such an environment, they have to be equipped with various sensors. Arguably, the two most important ones are inertial and video sensors.
Some features of autonomous vehicles pose challenges to attitude estimation with inertial sensors. The latter one cannot be mounted in gimbals because of a small size of the vehicle. This leads to increased sensitivity of sensor measurements to various perturbations and larger errors in attitude estimates. On the other hand, high maneuverability of the robot stipulates the necessity of effective and precise methods to estimate the vehicle pose.
The paper considers the problem of attitude estimation for autonomous vehicles equipped with camera by means of image processing technique. It contains an analysis of modern approaches to the tilt angles extraction. There are also descriptions of the typical obstacles which the researchers meet when solving such a kind of problems, and some hints are given to choose the applicable method.
Keywords: attitude estimation, horizon detection, autonomous vehicles, mobile robots, image processing
Введение
Автономные мобильные комплексы, оборудованные системами технического зрения, все чаще находят применение в решении задач контроля состояния промышленных объектов и коммуникаций, а также экологического мониторинга. К этим задачам следует отнести инспектирование сетей газораспределения [1], оценку состояния водных бассейнов [2], детектирование и локализацию утечек опасных веществ в закрытых помещениях [3]. Как правило, изображения сцен среды, в которой оперируют указанные объекты, существенно варьируются, что вызывает множество затруднений при построении алгоритмов обработки и анализа изображений, позволяющих надежно маневрировать на протяжении всей миссии.
С точки зрения автономной навигации важную роль играют параметры ориентации объекта в пространстве, которая может быть описана с помощью углов Эйлера, кватернионов или матрицы поворота. При этом углы Эйлера имеют наглядную и простую интерпретацию в отличие от двух других форм описания. Информация об углах крена и тангажа однозначно определяет проекцию линии горизонта, проходящую на изображении. В свою очередь, определение указанной линии сужает область последующего поиска препятствий для движения объекта и, тем самым, способствует снижению вычислительных затрат. Данные об углах крена и тангажа, в отличие от угла рыскания, также важны для стабилизации автономного объекта в пространстве.
Роботизированные платформы оборудуют датчиками, позволяющими определять значения параметров положения платформы в простран-
стве. При этом в силу ограничений по габаритным параметрам платформы и требований низкой стоимости, как правило, используют инерциальные MEMS-модули. Источники ошибок в измерениях углов ориентации инерциальным модулем могут быть различными. При этом, если смещение нуля датчиков можно компенсировать за счет процедуры калибровки перед миссией, то снизить воздействие дрейфа нуля, обусловленного температурой, напряжением питания и другими факторами, возможно путем совместной обработки показаний датчиков модуля, либо дополнительных модулей, установленных на платформе.
Определение углов ориентации объекта путем интеграции угловых скоростей, полученных от гироскопа, быстро приводит к аномальным значениям вследствие дрейфа показаний. Комплексиро-вание показаний акселерометра и гироскопа существенно снижает воздействие дрейфа, однако такая схема предполагает, что акселерометр выступает в роли датчика вертикального уровня, а, значит, любое отклонение движения объекта от перемещения с постоянной скоростью будет приводить к искусственному изменению углов ориентации. Более того, возмущающие воздействия со стороны среды могут существенно исказить характер движения объекта и привести к некорректным оценкам углов ориентации (например, движение судна в условиях качки). Компенсация подобных воздействий предполагает наличие их математической модели, построение которой довольно сложно. Комплексирование данных от спутниковой системы навигации также снижает воздействие дрейфа на формируемые оценки, однако такая мобильная платформа не является автономной в
полном смысле этого слова. Кроме того, при навигации в помещениях сигнал от спутника экранируется.
Очевидно, что автономная навигация на необследованной местности немыслима без наличия визуальной поддержки. В связи с этим рядом исследователей обоснован поиск возможностей экстрагирования информации об ориентации объекта из изображений, полученных с камеры.
Прямое детектирование линии горизонта на изображениях от перспективной камеры
Предполагая, что камера «смотрит» в направлении движения и выровнена с системой координат мобильного объекта, можно получить следующие формулы для определения углов крена ф и тангажа в [4]:
в = агс1д соЕф - Ь Бтф) (2)
\ fq /ы. /'
где а и Ь - параметры в уравнении q=au+b прямой в плоскости изображения, и0 и q0 - проекции оптического центра на плоскость изображения, / с индексами - фокусное расстояние в пикселях для камеры с пикселями прямоугольной формы.
В случае, когда линия горизонта присутствует на изображении, задача может быть сведена к определению границы, разделяющей две области на изображении, соответствующих небу и подстилающей поверхности. Данный подход основан на предварительной сегментации изображения с помощью того или иного метода. В качестве признаков, согласно которым пиксель присваивается определенному классу, используют цветовое представление (в различных цветовых моделях), яркость и другие формы описания. Тем не менее, задача сегментации по цветовым характеристикам осложняется ввиду многих факторов. Особенности подстилающей поверхности (рельеф земной поверхности, зеркальное отражение объектов прибрежной территории водной гладью) и ее неравномерное освещение, явление дифракции световых волн в атмосфере приводят к тому, что условия наличия на изображении двух однородных по цвету областей выполняется довольно редко. В результате повышается ошибка классификации и, как следствие, ошибка в определении линии горизонта. Появление препятствий, занимающих небольшую часть площади, не будет существенно отражаться на результатах. Их воздействие также может быть
нивелировано благодаря описанию дополнительного класса, соответствующего препятствиям [5]. В то же время, массивные препятствия, частично или полностью загораживающие линию горизонта, существенно снижают надежность его детектирования указанными методами.
Возникновение бликов, вызванных отражениями от зеркальной поверхности (например, водной глади), а также попаданием в поле зрение камеры самих источников света на изображении, приводит к искажению работы алгоритмов сегментации. Одним из вариантов борьбы с подобным явлением является использование камер с поляризационными фильтрами. Методы на базе таких камер демонстрируют более робастные результаты в решении задач выделения областей на изображениях сцен, содержащих источники света и их отражения. Как показали исследования в работе [6], сегментация по углу и степени поляризации может быть осуществлена сравнительно быстро и без применения усложненных алгоритмов.
Для классификации областей изображения можно использовать методы машинного обучения. Так, в работе [7] для разделения изображения на 2 области использовался метод опорных векторов, байесовский классификатор и алгоритм J48. В качестве вектора признаков каждого пикселя изображения выступали значения интенсивностей и шесть различных показателей, характеризующих текстурную составляющую по каждому из трех цветовых каналов. Таким образом, итоговый вектор признаков содержал 21 компоненту. Тем не менее, такой подход требует наличия большого числа изображений в базе, на которой проводится обучение. В ряде тестов процент верно классифицированных пикселей падал до 74%. Учет разнообразных погодных условий, препятствий снижает возможность применения данного подхода при маневрировании автономных роботизированных комплексов.
Вместо определения линии, соответствующей наилучшему в некотором смысле разделению двух областей по результатам сегментации, может применяться иной подход - выделение контуров на изображении с дальнейшим отсевом границ, не соответствующих линии горизонта. В частности, в публикации [4] детектируется профиль горизонта путем выделения границ фильтром Собеля и выполнения процедуры морфологической дилатации, с целью удовлетворения условию соединения двух вертикальных краев изображения. Далее используют М-оценку для робастной аппроксимации профиля отрезком прямой. При тестировании метода на последовательности изображений, снятых во время
пилотируемого полета, указанный метод показал наилучшие по сравнению с [8] результаты в смысле среднеквадратичной ошибки определения углов ориентации и скорости выполнения, однако для ряда изображений абсолютное значение ошибки достигало 6,91° по углу крена и 11,79° по углу тангажа. В качестве истинных использовались значения углов крена и тангажа, полученные от индустриальной системы навигации.
Некоторые исследователи пытаются улучшить результаты детектирования горизонта, применяя как метод сегментации, так и алгоритмы извлечения границ. Авторы работы [9] на первом этапе получают карту контуров и извлекают потенциальную линию горизонта с помощью преобразования Хафа. Как отмечалось ранее, указанная линия может не совпадать с действительной линией горизонта на изображении вследствие особенностей подстилающей поверхности (типичными ложно детектируемыми элементами могут выступать профиль дороги или берега). Линия-кандидат разделяет область изображения на две подобласти, для каждой из которых строится своя модель интенсивности на базе метода взвешенных средних квадратов. Далее элементы с большим отклонением интенсивности от модельной могут быть исключены из анализа. Это осуществляется путем бинаризации изображения, содержащего указанные отклонения. На последнем этапе повторяют первый шаг и получают уточненную оценку линии горизонта.
Детектирование горизонта на изображениях от всенаправленных камер
Преимуществом всенаправленных камер является широкий угол обзора, что способствует выделению характерных черт на изображении при наличии частичных окклюзий линии горизонта. В то же время, установка подобных камер на небольшие автономные объекты приводит к серьезным затруднениям, обусловленным массогабаритными показателями ката- и полидиоптрических сенсоров.
В зависимости от ориентации камеры изображение горизонта будет представлять собой эллипс или часть его дуги, формирование которых можно рассматривать в два этапа: на первом выполняется проекция горизонта на сферу единичного радиуса, на втором - элементы на сфере проектируются на плоскость изображения. Радиус окружности, образуемой проекцией горизонта на сферу, будет зависеть от расстояния до подстилающей поверхности. Таким образом, путем предварительной калибровки возможно определить высоту маневрирования воздушного средства.
В работе [10] анализируются изображения, полученные с помощью всенаправленной камеры типа «рыбий глаз». На первом этапе алгоритма на предварительно сглаженном изображении выделяются границы с помощью детектора Кэнни. Используя информацию о высоте съемки, для каждой точки на контурах можно определить направление нормали к плоскости горизонта, а, значит, и углы крена и тангажа. Предполагая, что точек, соответствующих действительной проекции горизонта на изображении будет больше, можно считать, что истинные значения углов наклона соответствуют максимальному количеству точек, «проголосовавших» за то или иное решение. При наличии априорной информации о высоте h и углах наклона каждый голос может взвешиваться с коэффициентом, пропорциональным условной вероятности того, что точка с координатами (и^) на изображении действительно принадлежит проекции горизонта при заданных параметрах. В общем случае указанные параметры могут принимать значения в некотором диапазоне, поэтому в [10] предлагается следующая формула для определения коэффициентов взвешивания:
■■■■ = ,"У г -■ л": -■ л'г. (3)
Анализ 25-ти изображений показал отклонения от значений углов, определенных по результатам ручной разметки линии горизонта, менее чем на 1°.
Подход с использованием сегментации областей предложен в работе [11]. Особенности формирования изображений всенаправленных камер приводят к тому, что легче проводить анализ на сфере единичного радиуса, нежели в плоскости изображения, поэтому профиль кривой, разделяющей две области по результатам сегментации, проектируется на указанную сферу. Далее, задача определения углов наклона сводится к оценке плоскости, проходящей через точки профиля горизонта на сфере.
Косвенные методы определения линии горизонта на базе точек схода
Иной подход к «борьбе» с окклюзиями, обусловленными попаданием в поле зрения камеры массивных препятствий, заключается в косвенном определении линии горизонта с использованием точек схода. Данные методы также применимы при определении ориентации мобильной платформы внутри помещений.
Для изображений городских территорий и помещений характерно наличие линий параллельных и перпендикулярных направлению действия силы
гравитации. На перспективном изображении эти линии будут пересекаться в точках, называемыми точками схода. Линия, проведенная через две точки схода, которые лежат в горизонтальной плоскости, совпадает с линией горизонта; вертикальная точка схода задает направление нормали к ней. Таким образом, для вычисления углов крена и тангажа необходимо определить вертикальную точку схода либо две горизонтальные точки схода, направления к которым должны быть ортогональны друг другу. Для всенаправленных камер проекция прямой в трехмерном пространстве на сферу единичного радиуса будет представлять собой окружность. Пересечение окружностей, соответствующих параллельным прямым, определяет точку схода. Вращение системы координат отражается на вращении 3-х ортонормиро-ванных векторов, задающих направление к точкам схода. Таким образов, с помощью трэкинга точек схода можно восстановить параметры ориентации объекта в пространстве.
Как правило, алгоритм определения точек схода состоит из двух этапов: выделение границ и кластеризация параллельных линий по точкам схода. Определение кластеров параллельных линий, соответствующих точке схода, зачастую является довольно трудоемкой операцией. Для выполнения данной операции можно анализировать все возможные пересечения пар линий и определить углы ориентации с помощью алгоритма Хафа. Существует также метод, основанный на выделении точек схода с помощью процедуры RANSAC, однако найденные точки не всегда удовлетворяют условию ортогональности. В связи с этим в работе [12] данный этап заменен на решение обратной задачи: при известной априорной матрице поворота (в качестве которой может выступать оценка в предыдущий момент времени) сформировать ряд гипотез о текущей ориентации объекта; определить количество линий, согласующихся с каждой гипотезой о расположении точек схода. Гипотеза
с максимальным числом линий, поддерживающих ее, будет соответствовать действительной ориентации объекта с некоторой погрешностью. Последовательно сужая диапазон изменения и интервал дискретизации значений оценок углов поворота, можно за несколько итераций получить достаточно хорошее приближение истинных значений углов ориентации.
В статье [13] предложен оригинальный метод выделения точек схода на изображениях открытого моря при отсутствии в поле зрения искусственных объектов в случае, если изображения содержат множество линий, параллельных и перпендикулярных направлению действия гравитации. Водная гладь на изображении рассматривается как область со случайной текстурой, обусловленной волнением ее поверхности. Предполагается, что элементы текстуры отличаются лишь размером, что обусловлено особенностью перспективной проекции. Авторы предлагают использовать дескриптор SIFT для сопоставления элементов текстуры различного масштаба и определения двух пар, соответствующих элементов текстуры. Точка пересечения прямых, которые касаются обеих окружностей, отражающих масштаб соответствующих элементов текстуры, выступает в качестве аппроксимации точки схода. Среднеквадратичная ошибка в определении наклона линии горизонта на наборе из 55 000 изображений составила 7,84°, что снижает привлекательность метода по сравнению с другими.
Использование оптического потока в задачах определения ориентации объекта
При условии, что оптическая ось камеры имеет вертикальное направление и фиксирует изображения под мобильным объектом, в данном случае - беспилотным летательным аппаратом (БПЛА), может быть получена следующая система уравнений для оптического потока [14]:
Ii
Я.
f+q-tan^ —и - taTi0 ¡c<j зф
I Wz
vx--Г
* f
I 1VD
-vy+T
иq f
(f-j)
[f-'i)
"1 f
4
<k>
У
—u
(4)
где (и. с/, и. ¿¡)- вектор оптического потока, элементы которого задают координаты и скорость движения пикселя в плоскости изображения, / - фокусное расстояние в пикселях, г - расстояние до точки, для проекции которой вычисляется оптический поток, и
и ю с индексами - элементы векторов линейной и угловой скорости объекта.
Систему уравнений (4) можно дополнить моделью движения мобильного объекта, что позволит осуществить оценку кинематических
параметров и углов ориентации с использованием фильтра Калмана. Однако зачастую подобная модель заранее не известна. В таком случае прибегают к оценкам переменных состояния с помощью измерений, полученных от инерциального модуля.
На практике оптический поток определяется лишь для части пикселей изображения. В публикации [14] предварительно выделяют особые точки и устанавливают соответствия между точками на двух последовательных изображениям с использованием SIFT дескриптора. Альтернативой может являться вычисление оптического потока для точек, расположенных вдоль границ или других характерных черт, найденных на изображении. Формула (4) для случая, когда точки находятся на линии горизонта, существенно упрощается и приобретает вид:
7 "(/ + т)
U Ley J
К^+т)
f
ч "V
£г)
У
—и .4.
(5)
В работе [8] в качестве переменных состояния выступают угловые скорости и углы крена и тангажа БПЛА, система (5) связывает переменные состояния с измерениями на базе оптического потока. Модель измерений включает также оценки углов ориентации, полученные по результатам выделения границы, которая выступает в роли потенциальной линии горизонта. При построении модели движения авторы исходили из того, что изменения угловой скорости обусловлены только шумовой составляющей.
Для точек, расположенных на каждой линии-кандидате, вычисляется оптический поток, и в соответствии со схемой обобщенного фильтра Калмана выполняется оценка вектора невязки (обновления) V и соответствующей ему ковариационной матрицы S. В случае, если граница-кандидат в действительности совпадает с линией горизонта, то случайная величина
распределена по закону хи-квадрат и может использоваться для проверки гипотезы о соответствии выделенной границы истинной линии горизонта. Применение фильтра совместно с проверкой гипотезы по критерию хи-квадрат позволило увеличить процент изображений с верно распознанной линией горизонта с 90,7% (без применения фильтра) до 98,8% на видеопоследовательности, полученной в ходе взлета летательного аппарата. В то же время, при полете на некоторой высоте и наличии дымки
результаты ухудшаются. Авторы, однако, и в этом случае не приводят численных значений погрешности определения углов крена и тангажа, а ограничиваются процентом изображений с верно распознанной линией горизонта, что является более субъективной трактовкой.
Анализ стереоизображений с целью получения информации об ориентации мобильной платформы
С помощью пары изображений, полученных от стереокамеры, становится возможным определить расстояние до детектируемой точки в трехмерном пространстве и локализовать точку в системе координат камеры. Для нахождения относительного изменения ориентации достаточно установить соответствие между особыми точками в трехмерном пространстве тем или иным способом и решить задачу оптимизации [15]:
Г.: = _ Л-; - F.:-r--i -- - -.:■:, (7) RRT=I, (8)
где R - матрица поворота, описывающая ориентацию камеры в пространстве, X£ - вектор положения особой точки в системе координат камеры в момент времени t, s - вектор сдвига, описывающий изменение позиции камеры, N - количество соответствующих пар точек, I - единичная матрица.
Ввиду ошибок локализации особых точек сравнение только двух изображений с целью определения изменения углов ориентации будет приводить к дрейфу в их оценках. Методы, использующие сравнение с несколькими предыдущими изображениями и решающие задачу минимизации ошибок с учетом всех изображений в таком наборе, существенно снижают воздействие дрейфа при движении с малой скоростью [16].
В основе рассмотренного в этой работе метода лежит предположение о статичности наблюдаемой сцены. Наиболее типичный случай, при котором не выполняется указанное требование - маневрирование по поверхности моря. В публикации [17] поверхность водной глади аппроксимируется плоскостью с применением метода RAN SAC. Направление нормали извлеченной плоскости позволяет вычислить углы крена и тангажа.
В статье [18] используется гибридная стереосистема, которая включает камеру, предназначенная как для перспективной, так и всенаправленной съемки, однако ориентация объекта определяется с помощью монокулярных методов, рассмотренных выше.
Основные выводы
Изображения от камеры, установленной на подвижном роботизированном комплексе, содержат большое количество информации о среде его маневрирования, что приводит к необходимости в использовании многошаговых алгоритмов извлечения характерных элементов. Подходы к определению ориентации объекта на базе методов обработки изображений отличаются большим разнообразием и хорошей точностью, но, в то же время, могут приводить к катастрофическим ошибкам в случае неверного выбора того или иного подхода. Из представленного анализа видно, что предпочтительный выбор метода должен осуществляться в зависимости от наблюдаемой сцены, а также свойств среды маневрирования. Одним из подходов к роба-стификации итоговой оценки является комплекси-рование данных об углах ориентации, полученных с помощью различных визуальных методов [19]. Последовательное выполнение двух методов, когда первый используется для получения грубой оценки или генерации гипотез, а второй - для уточнения или отсева гипотез (подходы, описанные в работах [9] и [8] соответственно), также возможно, однако при этом возрастает вычислительная нагрузка. Несмотря на низкую точность инерциальных датчиков, их показания, как правило, менее подвержены спорадическим изменениям, поэтому к решению вопроса робастификации целесообразно подходить, обеспечивая комплексирование видеоданных и показаний инерциального модуля с использованием рекурсивного фильтра Калмана и его нелинейных вариантов [20,21].
Заключительное замечание
В основу данной статьи положены исследования, выполненные в период прохождения Жалбе-ковым И.М. научной стажировки в Университете Любляны (Словения) при поддержке стипендией Президента Российской Федерации для обучения за рубежом.
Список литературы
1. Hausamann D. Monitoring of gas pipelines-a civil UAV application [Text] / D. Hausamann, W. Zirnig, G. Schreier, P. Strobl // Aircraft Engineering and Aerospace Technology. - 2005. - Vol. 77 - № 5. - PP. 352-360.
2. Dunbabin M. Experimental evaluation of an autonomous surface vehicle for water quality and greenhouse gas emission monitoring [Text] / M. Dunbabin, A. Grinham // Proceedings of IEEE International Confer-
ence on Robotics and Automation (ICRA). - 2010. - PP. 5268-5274.
3. Bennetts V. H. Combining non selective gas sensors on a mobile robot for identification and mapping of multiple chemical compounds [Text] / V.H. Bennetts, E. Schaffernicht, V. Pomareda, A.J. Lilienthal, S. Marco, M. Trincavelli // Sensors. - 2014. - № 14. - PP. 1733117352.
4. Dumble S. J. (2012). Horizon profile detection for attitude determination [Text] / S.J. Dumble, P.W. Gibbens // Journal of Intelligent & Robotic Systems. -
2012. - Vol.68. - № 3-4. - PP. 339-357.
5. Kristan M. Fast image-based obstacle detection from unmanned surface vehicles [Text] / M. Kristan, V. Sulic Kenk, S. Kovacic, J. Pers // IEEE Transactions on Cybernetics - 2015. - in press.
6. ShabayekA.E.R. Vision based uav attitude estimation: Progress and insights. [Text] / A.E.R. Shabayek,
C. Demonceaux, O. Morel, D. Fofi // Journal of Intelligent & Robotic Systems. - 2012. - Vol. 65. - № 1-4. - PP. 295-308.
7. Fefilatyev S. Horizon detection using machine learning techniques [Text] / S. Fefilatyev, V. Smarodzi-nava, L.O. Hall, D.B. Goldgof // Proceedings of the 5th International Conference on Machine Learning and Applications (ICMLA). - 2006. - PP. 17-21.
8. Dusha D. Attitude estimation for a fixed-wing aircraft using horizon detection and optical flow [Text] /
D. Dusha, W. Boles, R. Walker // Proceedings of the 9th Conference on Digital Image Computing Techniques and Applications. - 2007. - PP. 485-492.
9. US Patent US9031285. Detection of floating objects in maritime video using a mobile camera [Text] / H.T. Nguyen, P. Ramu, H. Wei, X. Liu, J. Yadegar, publication date 23.10.2014.
10. Grelsson B. Probabilistic Hough Voting for Attitude Estimation from Aerial Fisheye Images [Text] / B. Grelsson, M. Felsberg // Proceedings of the 18th Scandinavian Conference on Image Analysis (SCIA). -
2013. - PP. 478-488.
11. Demonceaux C. Omnidirectional vision on UAV for attitude computation / C. Demonceaux, P. Vasseur, C. Pégard // Proceedings of IEEE International Conference on Robotics and Automation (ICRA). - 2006. - PP. 2842-2847.
12. Bazin J. C. Rotation estimation and vanishing point extraction by omnidirectional vision in urban environment [Text] / J. C. Bazin, C. Demonceaux, P. Vasseur, I. Kweon // International Journal of Robotics Research - 2012. - Vol. 31. - № 1. - PP. 63-81.
13. Fefilatyev S. Detection of the Vanishing Line of the Ocean Surface from Pairs of Scale-Invariant Keypoints [Text] / S. Fefilatyev, M. Shreve, D. Goldgof
// Proceedings of the 17th International Conference on Image Analysis and Processing (ICIAP). - 2013. - PP. 161-169.
14.Rhudy M. B. Unmanned Aerial Vehicle Navigation Using Wide-Field Optical Flow and Inertial Sensors [Text] / M B. Rhudy, Y. Gu, H. Chao, J. N. Gross // Journal of Robotics - 2015. - Vol. 501. - Article ID 251379 - 12 p.
15. Hirschmuller H. Fast, unconstrained camera motion estimation from stereo without tracking and robust statistics / H. Hirschmuller, P.R. Innocent, J.M. Garibaldi // Proceedings of the 7th International Conference on Control, Automation, Robotics and Vision (ICARCV). - 2002. - Vol. 2. - PP. 1099-1104.
16. Schmid K. Stereo vision based indoor/outdoor navigation for flying robots [Text] / K. Schmid, T. Tomic, F. Ruess, H. Hirschmuller, M. Suppa // Proceedings of IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS). - 2013. - PP. 39553962
17. Wang H. Stereovision based obstacle detection system for unmanned surface vehicle / H. Wang, Z. Wei // Proc. of the IEEE International Conference
on Robotics and Biomimetics (ROBIO). - 2013. - PP. 917-921.
18. EynardD. Real time UAV altitude, attitude and motion estimation from hybrid stereovision / D. Eynard. P. Vasseur, C. Demonceaux, V. Frémont // Autonomous Robots. - 2012. - Vol. 33. - № 1-2. - PP. 157-172.
19. de LimaM.M. R. A Visual Data Fusion to Aerial and Land Robots Odometry [Text] / M.M. R. de Lima. J.L.S. Pio, J.R.H. Carvalho // Proceedings of IEEE Latin American Robotics Symposium. - 2013. - PP. 43-48.
20. Zhalbekov I. Horizon detection for robotic marine vehicles based on fusion of visual and inertial measurements: reducing risk to miss the obstacles [Text] / I. Zhalbekov, J. Pers, R. Mandeljc, M. Kristan, S. Kovacic, V. Krymsky // Proceedings of the 13th International Scientific School on Modeling and Analysis of Safety and Risk in Complex Systems (MASR). - 2015.
- PP. 151-156.
21. Hwangbo M.Visual-inertial UAV attitude estimation using urban scene regularities [Text] / M. Hwangbo, T. Kanade. // Proceedings of IEEE International Conference on Robotics and Automation (ICRA).
- 2011. - PP. 2451-2458.
