CC BY
5
УДК 629.735-519 + 004.8 В01: 10.18287/2541-7533-2023-22-4-37-51
АЛГОРИТМЫ ОПРЕДЕЛЕНИЯ ПРОСТРАНСТВЕННОГО ПОЛОЖЕНИЯ
БЕСПИЛОТНОГО ЛЕТАТЕЛЬНОГО АППАРАТА ОТНОСИТЕЛЬНО ПОСАДОЧНОЙ ПЛАТФОРМЫ С ИСПОЛЬЗОВАНИЕМ КОМПЬЮТЕРНОГО ЗРЕНИЯ
© 2023
кандидат технических наук, доцент кафедры конструкции и проектирования летательных аппаратов; Казанский национальный исследовательский технический университет им. А.Н. Туполева; [email protected]
доктор технических наук, профессор кафедры конструкции и проектирования летательных аппаратов; Казанский национальный исследовательский технический университет им. А.Н. Туполева; [email protected]
доктор технических наук, профессор, заведующий кафедрой конструкции и проектирования летательных аппаратов; Казанский национальный исследовательский технический университет им. А.Н. Туполева; [email protected]
инженер кафедры конструкции и проектирования летательных аппаратов; Казанский национальный исследовательский технический университет им. А.Н. Туполева; [email protected]
инженер кафедры конструкции и проектирования летательных аппаратов; Казанский национальный исследовательский технический университет им. А.Н. Туполева; [email protected]
Рассмотрены алгоритмы определения положения беспилотного летательного аппарата самолётного или вертолётного типа относительно посадочной платформы с помощью специальных оптических меток и программ компьютерного зрения. Проведена оценка возможности расчёта углового положения, высоты и расстояния до посадочной платформы в реальном времени на основе обработки изображений бортовым процессором, объединённым с цифровой оптической камерой в единый измерительный блок. Представлены результаты расчёта ориентации самолёта относительно посадочной платформы, движущейся по программной траектории. Моделирование процесса распознавания оптических меток на движущейся платформе с движущегося летательного аппарата подтвердило, что с использованием процессора с программой распознавания и идентификации оптических меток средствами компьютерного зрения и алгоритмами для расчёта положения летательного аппарата относительно посадочной платформы может гарантированно давать достоверную информацию о положении беспилотного летательного аппарата относительно посадочной платформы в реальном времени и использоваться совместно с другими навигационными средствами (или самостоятельно) для обеспечения точной посадки беспилотных летательных аппаратов.
Беспилотный летательный аппарат; компьютерное зрение; автоматическая посадка; посадочная платформа
Цитирование: Гайнутдинова Т.Ю., Новикова СВ., Гайнутдинов В.Г., Трусфус М.В., Литвин В.М. Алгоритмы определения пространственного положения беспилотного летательного аппарата относительно посадочной платформы с использованием компьютерного зрения // Вестник Самарского университета. Аэрокосмическая техника, технологии и машиностроение. 2023. Т. 22, № 4. С. 37-51. DOI: 10.18287/2541-7533-2023-22-4-37-51
Т. Ю. Гайнутдинова
^ В. Новикова
В. Г. Гайнутдинов
М. В. Трусфус
В. М. Литвин
Введение
Распространённым направлением разработок систем для точной посадки являются алгоритмы определения пространственного положения летательного аппарата (ЛА) относительно посадочной платформы (1111) с применением компьютерного зрения. Для получения информации о движении палубы корабля используются различные методы, такие как отслеживание посадочных знаков в виде символа H или T [1; 2], светящихся источников на палубе [3], использование специального освещения [4] или инфракрасных излучателей на корабле [5; 6; 7]. Процедуры посадки аппаратов вертолётного типа подробно описаны в работах [8; 9]. К визуальным средствам, помогающим пилотам безопасно приземлиться, относится специальное оптическое устройство - гиростабили-зированная «линия горизонта» для указания идеального горизонта независимо от углового движения корабля [10; 11].
Большое количество работ посвящено вопросам быстрого обнаружения маркеров с использованием нейронных сетей CNN [12 - 14], SSD [15], YOLO-2 [16 - 18]. Для распознавания посадочных меток для аппаратов самолётного типа приведены алгоритмы обнаружения краёв и линий оптических меток [19 - 20], обнаружения углов [21; 22], обнаружения контуров [23]. Определение аэродинамических характеристик ЛА в лётном эксперименте обсуждается в [24].
При приближении к кораблю в горизонтальном полёте на малых высотах возможность манёвра ограничена вертикальным пространством, в котором бортовая цифровая камера может захватить палубу с посадочной меткой, бортовой компьютер с помощью программ библиотеки открытого ресурса Open_CV обнаружить и распознать посадочную метку, произвести расчёт по определению положения ЛА, бортовой контроллер выполнить навигационные расчёты. Эти обстоятельства накладывают жёсткие ограничения по времени обнаружения посадочного знака и проведение всех расчётов.
Целью данной работы является выбор процедуры обнаружения посадочной метки по изображению на цифровой камере с использованием программ открытого ресурса Open_CV и разработка алгоритма расчёта пространственного положения ЛА относительно 11 в режиме реального времени.
Постановка задачи
Для достижения поставленной цели рассматривается решение задач посадки с использование компьютерного зрения в следующей последовательности:
а) исследование набора оптических меток, подходящих для посадки аппаратов вертолётного и самолётного типов, отличных от традиционных посадочных знаков H и Т;
б) оценка работоспособности программ открытого ресурса Open_CV для обнаружения метки и разработка процедуры её идентификации;
в) решение задачи по определению пространственного положения относительно ПП с оптическими метками для ЛА самолётного и вертолётного типов с вертикальной посадкой в режиме реального времени.
Исследование набора оптических меток и экспериментальная оценка программы распознавания открытого ресурса Open_CV
В качестве оптических посадочных меток рассматривались несколько наборов геометрических фигур. На рис. 1 показана метка в виде двойного креста. Внутри креста черного цвета встроен крест меньшего размера белого цвета. Подобные фигуры легко обнаружить на изображениях с помощью программ открытого ресурса Open_CV.
Соотношение толщины креста к длине, а также отношение длин внешнего и внутреннего крестов различны. Данные соотношения позволяют точно идентифицировать какой из крестов был обнаружен. Внешний крест большого размера используется для измерения расстояний, когда камера расположена далеко от объекта. При приближении к объекту изображение внешнего креста на каком-то этапе перестаёт полностью попадать в кадр камеры, внутренний крест остаётся в кадре камеры. В случае, если в кадре камеры видны оба креста, вычисление расстояний производится по внешнему кресту. Какой именно крест используется при вычислении расстояний определяется соотношением толщины стороны каждого креста к его длине. В отличие от цветового кодирования такой несложный геометрический подход позволяет применять различные фильтры для обнаружения контуров креста, при использовании которых теряется цветовая информация. С помощью этой метки отрабатывался алгоритм точной посадки для аппаратов вертолётного типа.
На рис. 2 показана метка, состоящая из квадрата и треугольника с известными геометрическими размерами. Эта метка предназначена для посадки на 1111, имеющую направление посадки, или движущуюся 1111. Комбинация квадрата и треугольника позволяет определить главное направление 1111.
Рис. 1. Оптическая метка - двойной крест Рис■ 2 Оптическая метка - квадрат
и треугольник
Алгоритм обнаружения оптической метки на изображении рассмотрим на примере распознавания оптической метки в форме двойного креста. На первом этапе осуществляется фильтрация шумов на изображении путём применения операции размытия с использованием нормализованного блочного фильтра. Лосле размытия цветное изображение преобразуется в оттенки серого цвета по формуле:
+
У= 0,299Я + 0,587а + 0,114В , (1)
где У - значение компоненты серого цвета преобразованного изображения; Я, G, В -значения компонент красного, зелёного и синего цветов исходного изображения.
Градации серого преобразуются в чёткое очертание изображения креста. Рассматривались несколько алгоритмов и соответствующих программ библиотеки Ореп_СУ Метод адаптивной бинаризации, основанный на сравнении интенсивности яркости точки со средней яркостью точек в окрестности заданного размера:
1 " [0:Р(х, у}< М(х, у}-С,
где В(х,у} - бинарное значение точки с координатами х, у, Р(х,у} - значение яркости точки; М ( х,у} - среднее значение яркости в окрестности точки; С - константа, определяющая порог бинаризации по яркости.
Для определения среднего значения яркости применяется интегральное представление изображения [25]. Однако такой метод оказался неустойчив к размерам искомого объекта и результат бинаризации был значительно зашумлён, что отчётливо видно на рис. 3, а. Более устойчивым к размерам объекта оказался метод, основанный на применении оператора Собеля [26]. Оператор вычисляет градиент яркости изображения в каждой точке. Так находится направление наибольшего увеличения яркости и величина её изменения в этом направлении. Для реализации обнаружения маркера процедура на основе оператора Собеля применялась к изображению на камере дважды: в вертикальном и горизонтальном направлениях. После этого результат суммировался. В отличие от адаптивной бинаризации контуры обоих изображений крестов маркера получились чёткими. Однако результат содержал шум, который требуется отфильтровывать. Результат применения этой процедуры показан на рис. 3, б.
Наилучший результат по времени обнаружения оптической метки на экране цифровой камеры удалось достичь при применении оператора определения границ Кэнни [27], который также основан на вычислении градиента изображения. Границы отмечаются там, где градиент изображения приобретает максимальное значение. Они могут иметь различное направление, поэтому в алгоритме Кэнни используются четыре фильтра для обнаружения горизонтальных, вертикальных и диагональных рёбер в размытом изображении. В результате получается монохромное изображение, на котором каждый белый пиксель обозначает обнаруженную границу в данной точке на исходном изображении. Результат применения этой процедуры показан на рис. 3, в.
После применения оператора Кэнни осуществляется трассировка вокруг всех белых пикселей и строятся контуры в виде последовательности координат.
Рис. 3. Результаты применения алгоритмов по распознанию оптической метки
На следующем этапе осуществляется предварительная фильтрация контуров, а затем выполняется структурный анализ для определения соответствия каждого контура изображению посадочной метки в виде двойного креста.
Программа распознавания реализована на языке Java с использованием библиотеки Open_CV. Экспериментальные исследования программы производились на компьютере на базе процессора Intel Core i7-4700MQ с тактовой частотой 2,4 ГГц и отдельно на устройстве Raspberry Pi 3 Model B+ на базе процессора Broadcom BCM2837B0 (Cortex-A53) с тактовой частотой 1,4 ГГц, в обоих случаях использовалась одна и та же веб-камера с разрешением матрицы 800*600. Различие между работой программы на компьютере и устройстве выявлено только в частоте обработки кадров. На компьютере величина FPS составила в среднем 29 к/c, на устройстве Raspberry Pi составила 15 к/c.
Алгоритм расчёта пространственного положения летательного аппарата относительно посадочной платформы
После идентификации посадочной метки бортовой компьютер выполняет расчёт пространственного положения ЛА относительно 1111.
Предлагаемый алгоритм определения пространственного положения беспилотного летательного аппарата (БПЛА) относительно движущейся 1111 рассмотрим на примере использования оптической метки, приведённой на рис. 2. Для приближения расчётов по определению пространственного положения ЛА к реальным условиям проведём моделирование движения 11 с посадочной оптической меткой по некоторой программной траектории и следующего за ней на переменных высотах ЛА с цифровой камерой на борту.
Программная траектория движения 1111 задаётся координатами контрольных точек Я (, 0г, ) и скоростью Уг ((г), 0, ¥г^)) в горизонтальной плоскости земных координат. Вектор скорости определяется в виде произведения модуля (величины) скорости V() и единичного вектора направления ву (7) V(V)= V(I)гу (I) , где ? - параметр времени I = 0...Т0. Лри построении модели программной траектории обеспечивается
согласованность по координатам и скорости в контрольных точках и выдерживается заданное изменение скорости движения на всей расчётной траектории движения. Лре-имущество такой модели программной траектории состоит в том, что текущие координаты, вектор скорости и ускорения определяются параметром времени.
На рис. 4 показан пример расчётной программной траектории движения, на рис. 5 - изменение модуля скорости полёта V (жирная линия) и изменение компонент скорости VN, VE (тонкая сплошная и пунктирная линии соответственно) в осях X — Z земной системы координат.
Текущее значение высоты полёта Н (^) для следующего за 11 ЛА также задаётся значениями в контрольных точках и соотношением
определяющим плавное изменение высоты в
начале и в конце каждого отрезка программной траектории.
з
у,
м/с 50 -
-50
5
Т"
3000
1000
1000
3000 х,м
100 300 500
700
900 С
Рис. 4. Программная траектория движения по контрольным точкам
Рис. 5. Изменение скорости движения и её компонент в земных координатах
Величины вертикальной скорости и ускорения определяются следующими соотношениями:
Н2 - Н1
Т
V 10 у
) У sm (л);
Л
Г Н 2 - Н1 ^ Т2
V 10 у
соя
(л).
Рассмотрим алгоритм процесса восстановления координат угловых точек оптических меток на 1111 по значениям координат их изображения на матрице электронной камеры, установленной на борту ЛА, следующего за ПП на разной высоте и с отставанием по времени от ПП на некоторую величину At. При полёте ЛА самолётного типа за ПП его угловое положение будет определяться углами тангажа, крена и курсового угла.
Для расчёта углового положения ЛА при моделировании полёта воспользуемся уравнениями траекторного движения:
тУ = Рсояа-Ха -т.ят3а;
ш¥За = Рят а соя га + Уа сояуа -mgсоя3а;
-тУ у сояЗа = Рята ят уа + Уа ят уа,
(3)
где а - угол атаки; уа - скоростной угол крена; Р - тяга движителя; ш - масса ЛА; Уа - подъёмная сила; Ха - сила лобового сопротивления; углы крена За и рыскания у/а определяются траекторными углами За «в, уа «¥;
в = бш
1 ( ^
ЛХ
У
¥ = - бШ 1
(
\
( Й2
ЛХ
У соя в
в =
Л2 у
g
ЛХ2
л
- У бш в
'(У соя в)
¥ = -
( Л2 х.
Л2 г.
Л
2 -бш ¥ л--2гСОБ¥
ЛХ2 ЛХ2
( соя в).
Для определения величин Ха, Р, Уа, а, уа на каждом шаге по времени производится последовательность итерационных вычислений 1 - 5 для уточнения угла атаки а :
°) Га = - *ап -
у собз/| У3 + .собз
; Ха = Сх ° дБ +
кв т)2 дБ
У2
д = р—, а = 0 2
1) Р = Ха + тУ + т..бш\;
2) Уа = т.собЗа + тУЗа^ сояуа -РБта;
3) Суй = Уа/дБ;
4) Сха = Схо + квСуа;
С а
5) а = —а + а°, Ха = СаБ.
' ^ а ° ? а ха I
С уа
(4)
Здесь Я - площадь крыла; кв - коэффициент отвала поляры самолёта; Сх0 — коэффициент (вредного) лобового сопротивления; Сха — коэффициент лобового сопротивления; Суа и Суа — коэффициент подъёмной силы и его производная по углу атаки. Результатом вычислений (4) является матрица угловой ориентации ЛА [С
с^ &а с°55 у/а ¡зт &а - с^ &а ¡зт у а
¡5Ш У а sln у а - C0s У а Sln Ка У а C0S Га C0S Ка Sln У а C0S У а + C0S У а Sln К Sln У а cos У а sln У а + ^ У а Sln Ка C0S У а - Sln Га Ка C0S У а У а - Sln У а Ка Sln У а
. (5)
В расчётной модели движения позиция ЛА относительно посадочной платформы параметром опережения (отставания) от неё по времени At и ненулевой высотой Н ( ). Координаты х^, угловых точек изображения на экране-матрице электронной камеры вычисляются по следующим соотношениям:
^ = Я +
/
(Яс - Я)п
(Яс - Я),
(6)
где Яс - радиус-вектор координат точки схода С на рис. 6; Я - координаты угловых точек оптической метки в осях ПП; / - фокусное расстояние камеры, компоненты вектора нормали п (с21, с22, с23) к плоскости экрана-матрицы определяются элементами
второй строки матрицы косинусов ЛА
С*
относительно ПП, компоненты единичных
векторов экрана матрицы в1, в3 определяются элементами первой и третьей строки
матрицы
С*
С ]
используются рас-
: е1 (сп,С12,С13) , еъ (С31,С32,С33). Для вычисления
считанные матрицы ориентации ЛА [С ] и матрица ориентации ПП [С™] в осях земной системы координат.
Рис. 6. Координаты точек на посадочной платформе и в плоскости экрана камеры
На экране-матрице бортовой цифровой камеры распознанное изображение квадратной оптической метки представляет собой четырёхугольник, как показано на рис. 7.
Для перевода целочисленных «пиксельных» координат и и V (точки на экране-матрице отсчитываются с левого верхнего угла, рис. 7) в физические координаты х и 2 экрана используются следующие соотношения (прямое и обратное):
х 1 —X г и и0 > и Ч X х и0
— — , — 0 +
г 0 8х _ V V _v0 _ У V 8 _ г _V0 _
(7)
где 8х, (1/м) - константы перевода физических размеров (1 м на матрице электронной камеры соответствует количеству пикселей 5 х , 8 г по ширине и высоте матрицы), и0, V 0 - учитывают смещение начала отсчёта пиксел в левый верхний угол экрана, X учитывает неортогональность осей камеры.
Рис. 7. Пиксельные координаты точек изображения квадратной метки
Отрезки линий, соединяющие угловые точки / - ] квадратной оптической метки на 1111, определяются в осях камеры е1, е2, ез следующим соотношением:
К — К — К— Н
е1 [Ьх — ъ]х])—ег/ (ь — ь]) + ез — Ьр,)
(8)
где Ь( .) — 1 (хг( .) + С22/ + С232г(})) .
Соотношение (8) получено при допущении с22 < 1 и Н >> /, где Н - высота ЛА над ПП (рис. 6).
Поскольку для квадратной оптической метки на ПП эти отрезки ортогональны друг другу, то это условие, представленное в виде нормированных скалярных произведений, используется для определения углов у и & :
/1 (у&) — — 0, /2 (у&) — ^^ — 0
¿12 ¿23
Цз ¿24
(9)
В соотношении (9) величина Н исключена и в расчётах на этом этапе используются только значения экранных координат угловых точек х. и 2 . распознанного изображения квадрата. Нелинейные уравнения (9) тождественно выполняются при условии, что углы К и Г известны, а в алгоритме используются для их итерационного вычисления. Для уточнения К и Г формируется следующее итерационное соотношение:
Д
^)
(k+1)
Д
(k L
dfjdy dfJdS dfjdy fjd*
Д»)
f1
f2 ( Дк
(10)
где к — номер итерации.
После вычисления К, Г определяется матрица косинусов ] :
[с
У Аг,Д
cos$ sin5 0
- cos у sin Д cos у cos Д sin у sin уsinД - sin у cos Д cosy
(11)
Для вычисления квадрата высоты (H2) можно использовать соотношение (8) для любой пары угловых точек, возведенное в квадрат. Для вычисления курсового угла щ
используются следующие соотношения:
sinщ = |ё12 хe121 = |ё23 х e231, cosщ = e12 e12 = e23 e23, (12)
где @2з, е2з - единичные векторы, полученные нормированием векторов
Я12, Я23 из соотношений (8) и нормированием векторов Я12, Я23, определённых в осях |, 12, 13 на ПП.
Алгоритм точности и скорости оценки позиционирования ЛА относительно ПП зависит от точности и скорости решения нелинейного уравнения (10) по определению углов К, г . Учитывая, что все вычисления в алгоритме сводятся к арифметическим операциям сложения и умножения, расчёты в блоке компьютерного зрения с отдельным процессором обеспечивают поступление расчётных данных о позиционировании ЛА относительно ПП в программу бортового контроллера автоматического управления для навигационных расчётов в пределах отведённого на это интервала времени.
Моделирование процедуры расчёта пространственного положения летательного аппарата относительно движущейся посадочной платформы
Расчётные исследования показали, что в диапазоне отклонения начального значения при решении нелинейной задачи (10) в пределах ±0,3рад (±18°)для К или г итерационный процесс решения (10) монотонно и гарантированно сходится к точному решению за 15-20 итераций. Учитывая, что ПП морского базирования имеют ограниченный крен и дифферент, за начальные значения углового положения К(0) и Г(0) относительно ПП можно брать значения угла крена и тангажа относительно земной
нормальной системы координат, рассчитываемые в блоке инерциальной навигационной системы.
На рис. 8, 9 показаны восстановленные по изображению значения углов 3 или у относительно 1111 при полёте ЛА за 1111, движущейся по программной траектории. Сплошной линией показаны значения, вычисленные по уравнениям программной траектории, пунктирной линией - восстановленные по координатам угловых точек изображения квадратной оптической метки на 1111 размером 5 х 5 м. Для ускорения сходимости решения уравнений (10) за начальные значения углов 3(0) и у(0) в каждом последующем расчёте принимались восстановленные значения 3 и у предыдущего навигационного расчёта.
На рис. 10, 11 показаны аналогичные графики для рассчитанного положения ЛА относительно 1111 по высоте и по курсу.
Э
град
2 -
У,
град
15 -
5 -
■6
-5
-10
-15 -
100 300 500 700 900'.с
100 300 500 700 900 С
Рис. 8. Изменение угла тангажа по программной траектории
Рис. 9. Изменение угла крена по программной траектории
V,
град 100 -
-100 -
100 300 500 700 900 I с
100 300 500 700 900 '.-с
Рис. 10. Изменение высоты полёта по программной траектории
Рис. 11. Изменение курса по программной траектории
Заключение
Разработанный алгоритм определения пространственного положения ЛА с использованием оптической метки в виде квадрата и треугольника с известными размерами позволяет гарантированно предоставлять достоверную информацию о позиционировании БПЛА относительно 1111 в режиме реального времени и может быть использован в системе компьютерного зрения независимо или совместно с другими навигационными средствами для обеспечения точной посадки ЛА самолётного и вертолётного типов.
Авторами данной статьи получен патент на способ точной посадки БПЛА путём измерения угловой ориентации БПЛА и расстояния относительно 1111 [28], в котором для посадки ЛА самолётного типа предлагается использовать метку квадратной формы заданного размера и треугольник, которые в совокупности определяют направление движения 11.
Библиографический список
1. Sanchez-Lopez J.L., Pestana J., Saripalli S., Campoy P. An approach toward visual autonomous ship board landing of a VTOL UAV // Journal of Intelligent & Robotic Systems. 2014. V. 74. P. 113-127. DOI: 10.1007/s10846-013-9926-3
2. Xu G., Zhang Y., Ji S., Cheng Y., Tian Y. Research on computer vision-based for UAV autonomous landing on a ship // Pattern Recognition Letters. 2009. V. 30, Iss. 6. P. 600605. DOI: 10.1016/j.patrec.2008.12.011
3. Truong Q.H., Rakotomamonjy T., Taghizad A., Biannic J.-M. Vision-based control for helicopter ship landing with handling qualities constraints // IFAC-PapersOnLine. 2016. V. 49, Iss. 17. P. 118-123. DOI: 10.1016/j.ifacol.2016.09.021
4. Holmes W.K., Langelaan J.W. Autonomous ship-board landing using monocular vision // Proceedings of the AHS 72th Annual Forum (May, 17-19, 2016, West Palm Beach, Florida). V. 2.
5. Meng Y., Wang W., Han H., Ban J. A visual/inertial integrated landing guidance method for UAV landing on the ship // Aerospace Science and Technology. 2019. V. 85. P. 474-480. DOI: 10.1016/j.ast.2018.12.030
6. Yakimenko O.A., Kaminer I.I., Lentz W.J., Ghyzel P.A. Unmanned aircraft navigation for shipboard landing using infrared vision // IEEE Transactions on Aerospace and Electronic Systems. 2002. V. 38, Iss. 4. P. 1181-1200. DOI: 10.1109/taes.2002.1145742
7. Агеев А.М., Бондарев В.Г., Проценко В.В. Обоснование выбора источников излучения для системы технического зрения в задаче автоматической посадки беспилотных летательных аппаратов // Компьютерная оптика. 2022. Т. 46, № 2. С. 239245. DOI: 10.18287/2412-6179-CO-875
8. Lumsden B., Wilkinson C., Padfield G. Challenges at the helicopter-ship dynamic interface // 24th European Rotorcraft Forum (September, 15-17, 1998, Marseilles, France).
9. Colwell J. Maritime helicopter ship motion criteria. Challenges for operational guidance. http://resolver.tudelft.nl/uuid:01b52b50-e242-457d-854d-907b5e04faf1
10. Stingl A.L. Vtol aircraft flight system. US Patent, no. 3473232, 1969. (Publ. 21.10.1969)
11. MPP-02 V. I. Helicopter operations from ships other than aircraft carriers (HOSTAC). NATO, 2017.
12. Girshick R., Donahue J., Darrell T., Malik J. Rich feature hierarchies for accurate object detection and semantic segmentation // Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (June, 23-28, 2014, Columbus, OH, USA). DOI: 10.1109/cvpr.2014.81
13. Girshick R. Fast R-CNN // Proceedings of the IEEE International Conference on Computer Vision (December, 07-13, 2015, Santiago, Chile). DOI: 10.1109/iccv.2015.169
14. Ren S., He K., Girshick R., Sun J. Faster R-CNN: towards real-time object detection with region proposal networks // IEEE Transactions on Pattern Analysis and Machine Intelligence. 2017. V. 39, Iss. 6. P. 1137-1149. DOI: 10.1109/tpami.2016.2577031
15. Liu W., Anguelov D., Erhan D., Szegedy C., Reed S., Fu C.-Y., Berg AC. SSD: Single shot multibox detector // Lecture Notes in Computer Science. 2016. V. 9905. P. 21-37. DOI: 10.1007/978-3-319-46448-0_2
16. Redmon J., Divvala S., Girshick R., Farhadi A. You only look once: Unified, realtime object detection // Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (June, 27-30, 2016, Las Vegas, NV, USA). DOI: 10.1109/cvpr.2016.91
17. Redmon J., Farhadi A. YOLO9000: better, faster, stronger // Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (July, 21-26, 2017, Honolulu, HI, USA). DOI: 10.1109/cvpr.2017.690
18. Redmon J., Farhadi A. Yolov 3: An incremental improvement. Tech. report, arXiv: 1804.02767 [cs.CV], 2018. DOI: 10.48550/arXiv.1804.02767
19. Benjdira B., Khursheed T., Koubaa A., Ammar A., Ouni K. Car detection using unmanned aerial vehicles: Comparison between faster R-CNN and YOLOv3 // 1st International Conference on Unmanned Vehicle Systems-Oman (UVS) (February, 05-07, 2019, Muscat, Oman). DOI: 10.1109/uvs.2019.8658300
20. Zishan W., Shunliang P., Zishan S., Weiqun S. Computer vision scheme for autonomous landing of unmanned helicopter on ship deck // Journal of Beijing University of Aeronautics and Astronautics. 2007. V. 33, Iss. 6.
21. Wang X.-J., Pan S.-L., Song Z.-S., Shen W.-Q. Vision based analytic 3D measurement algorithm for the autonomous landing of unmanned helicopter on ship deck // Optical Technique. 2007. V. 33. P. 264-267.
22. Sharp C.S., Shakernia O., Sastry S.S. A vision system for landing an unmanned aerial vehicle // Proceedings of the IEEE International Conference on Robotics and Automation (ICRA 2001) (May, 21-26, 2001, Seoul, Korea (South)). DOI: 10.1109/robot.2001.932859
23. Shiqing L., Chunhua H., Jihong Z. A Method for estimating position and orientation of an unmanned helicopter based on vanishing line information // Computer Engineering and Applications. 2004. V. 9.
24. Лукьянов О.Е., Золотов Д.В., Эспиноса Барсенас О.У., Комаров В.А. Определение аэродинамических характеристик малоразмерных беспилотных летательных аппаратов в лётном эксперименте // Вестник Самарского университета. Аэрокосмическая техника, технологии и машиностроение. 2023. Т. 22, № 3. С. 59-74. DOI: 10.18287/2541-7533-2023-22-3-59-74
25. Tapia E. A note on the computation of high-dimensional integral images // Pattern Recognition Letters. 2011. V. 32, Iss. 2. P. 197-201. DOI: 10.1016/j.patrec.2010.10.007
26. Jahne B., Scharr H., Korkel S. Principles of filter design // Handbook of Computer Vision and Applications. V. 2. Signal Processing and Pattern Recognition. Academic Press, 1999. P. 125-151.
27. Canny J. A computational approach to edge detection // IEEE Transactions on Pattern Analysis and Machine Intelligence. 1986. V. 8, Iss. 6. P. 679-698. DOI: 10.1109/tpami.1986.4767851
28. Гайнутдинова ^Ю., Гайнутдинов В.Г., Латыпов Р.Р., Мухаметзянов Ф.Ф. Способ точной посадки беспилотного летательного аппарата и устройство для реализации способа: патент РФ № 2773978; опубл. 14.06.2022; бюл. № 17.
ALGORITMS FOR DETERMINING THE ATTITUDE POSITION OF AN UNMANNED AERIAL VEHICLE RELATIVE TO THE LANDING PLATFORM BY USING COMPUTER VISION
© 2023
T. Yu. Gainutdinova
S. V. Novikova
V. G. Gainutdinov
M. V. Trusfus
V. M. Litvin
Candidate of Science (Engineering), Associate Professor of the Department
of Construction and Design of Aircraft;
Kazan National Research Technical University
named after A.N. Tupolev, Kazan, Russian Federation;
Doctor of Science (Engineering), Professor of the Department of Construction and Design of Aircraft;
Kazan National Research Technical University named after A.N. Tupolev, Kazan, Russian Federation; [email protected]
Doctor of Science (Engineering), Professor, Head of the Department
of Construction and Design of Aircraft;
Kazan National Research Technical University
named after A.N. Tupolev, Kazan, Russian Federation;
Engineer, Department of Construction and Design of Aircraft; Kazan National Research Technical University named after A.N. Tupolev, Kazan, Russian Federation; [email protected]
Engineer, Department of Construction and Design of Aircraft; Kazan National Research Technical University named after A.N. Tupolev, Kazan, Russian Federation; [email protected]
Algorithms for determining the attitude position of an aircraft or helicopter-type unmanned aerial vehicle relative to the landing platform with special optical marks are considered. An assessment is made of the possibility of calculating the angular position, height and distance to the landing platform in real time based on image processing by a separate on-board processor combined with a digital optical camera into a single measuring unit. The results of calculating the aircraft attitude relative to the landing platform moving along a program trajectory using computer vision algorithms are presented. Simulation of the process of recognizing optical marks on a moving platform from a moving aircraft confirmed that using a processor with a program for recognizing and identifying optical marks by using computer vision and algorithms for calculating the position of the aircraft relative to landing platforms can assuredly provide reliable information about the positioning of an unmanned aerial vehicle relative to the landing platform in real time and can be used in conjunction with other navigation aids (or independently) to ensure accurate landing of unmanned aircraft.
Unmanned aerial vehicles; computer vision; automatic landing; landing platform
Citation: Gainutdinova T.Yu., Novikova S.V., Gainutdinov V.G., Trusfus M.V., Litvin V.M. Algoritms for determining the attitude position of an unmanned aerial vehicle relative to the landing platform by using computer vision. Vestnik of Samara University. Aerospace and Mechanical Engineering. 2023. V. 22, no. 4. P. 37-51. DOI: 10.18287/2541-75332023-22-4-37-51
References
1. Sanchez-Lopez J.L., Pestana J., Saripalli S., Campoy P. An approach toward visual autonomous ship board landing of a VTOL UAV. Journal of Intelligent & Robotic Systems. 2014. V. 74. P. 113-127. DOI: 10.1007/s10846-013-9926-3
2. Xu G., Zhang Y., Ji S., Cheng Y., Tian Y. Research on computer vision-based for UAV autonomous landing on a ship. Pattern Recognition Letters. 2009. V. 30, Iss. 6. P. 600605. DOI: 10.1016/j.patrec.2008.12.011
3. Truong Q.H., Rakotomamonjy T., Taghizad A., Biannic J.-M. Vision-based control for helicopter ship landing with handling qualities constraints. IFAC-PapersOnLine. 2016. V. 49, Iss. 17. P. 118-123. DOI: 10.1016/j.ifacol.2016.09.021
4. Holmes W.K., Langelaan J.W. Autonomous ship-board landing using monocular vision. Proceedings of the AHS 72th Annual Forum (May, 17-19, 2016, West Palm Beach, Florida). V. 2.
5. Meng Y., Wang W., Han H., Ban J. A visual/inertial integrated landing guidance method for UAV landing on the ship. Aerospace Science and Technology. 2019. V. 85. P. 474480. DOI: 10.1016/j.ast.2018.12.030
6. Yakimenko O.A., Kaminer I.I., Lentz W.J., Ghyzel P.A. Unmanned aircraft navigation for shipboard landing using infrared vision. IEEE Transactions on Aerospace and Electronic Systems. 2002. V. 38, Iss. 4. P. 1181-1200. DOI: 10.1109/taes.2002.1145742
7. Ageev A.M., Bondarev V.G., Protsenko V.V. Justification of the choice of radiation sources for a computer vision system in the problem of automatic landing of unmanned aerial vehicles. Computer Optics. 2022. V. 46, no. 2. P. 239-245. (In Russ.). DOI: 10.18287/2412-6179-CO-875
8. Lumsden B., Wilkinson C., Padfield G. Challenges at the helicopter-ship dynamic interface. 24th European Rotorcraft Forum (September, 15-17, 1998, Marseilles, France).
9. Colwell J. Maritime helicopter ship motion criteria. Challenges for operational guidance. Available at: http://resolver.tudelft.nl/uuid:01b52b50-e242-457d-854d-907b5e04faf1
10. Stingl A.L. Vtol aircraft flight system. US Patent, no. 3473232, 1969. (Publ. 21.10.1969)
11. MPP-02 V. I. Helicopter operations from ships other than aircraft carriers (HOSTAC). NATO, 2017.
12. Girshick R., Donahue J., Darrell T., Malik J. Rich feature hierarchies for accurate object detection and semantic segmentation. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (June, 23-28, 2014, Columbus, OH, USA). DOI: 10.1109/cvpr.2014.81
13. Girshick R. Fast R-CNN. Proceedings of the IEEE International Conference on Computer Vision (December, 07-13, 2015, Santiago, Chile). DOI: 10.1109/iccv.2015.169
14. Ren S., He K., Girshick R., Sun J. Faster R-CNN: towards real-time object detection with region proposal networks. IEEE Transactions on Pattern Analysis and Machine Intelligence. 2017. V. 39, Iss. 6. P. 1137-1149. DOI: 10.1109/tpami.2016.2577031
15. Liu W., Anguelov D., Erhan D., Szegedy C., Reed S., Fu C.-Y., Berg A.C. SSD: Single shot multibox detector. Lecture Notes in Computer Science. 2016. V. 9905. P. 21-37. DOI: 10.1007/978-3-319-46448-0_2
16. Redmon J., Divvala S., Girshick R., Farhadi A. You only look once: Unified, realtime object detection. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (June, 27-30, 2016, Las Vegas, NV, USA). DOI: 10.1109/cvpr.2016.91
17. Redmon J., Farhadi A. YOLO9000: better, faster, stronger. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (July, 21-26, 2017, Honolulu, HI, USA). DOI: 10.1109/cvpr.2017.690
18. Redmon J., Farhadi A. Yolov 3: An incremental improvement. Tech. report, arXiv: 1804.02767 [cs.CV], 2018. DOI: 10.48550/arXiv.1804.02767
19. Benjdira B., Khursheed T., Koubaa A., Ammar A., Ouni K. Car detection using unmanned aerial vehicles: Comparison between faster R-CNN and YOLOv3. 1st International Conference on Unmanned Vehicle Systems-Oman (UVS) (February, 05-07, 2019, Muscat, Oman). DOI: 10.1109/uvs.2019.8658300
20. Zishan W., Shunliang P., Zishan S., Weiqun S. Computer vision scheme for autonomous landing of unmanned helicopter on ship deck. Journal of Beijing University of Aeronautics and Astronautics. 2007. V. 33, Iss. 6.
21. Wang X.-J., Pan S.-L., Song Z.-S., Shen W.-Q. Vision based analytic 3D measurement algorithm for the autonomous landing of unmanned helicopter on ship deck. Optical Technique. 2007. V. 33. P. 264-267.
22. Sharp C.S., Shakernia O., Sastry S.S. A vision system for landing an unmanned aerial vehicle. Proceedings of the IEEE International Conference on Robotics and Automation (ICRA 2001) (May, 21-26, 2001, Seoul, Korea (South)). DOI: 10.1109/robot.2001.932859
23. Shiqing L., Chunhua H., Jihong Z. A Method for estimating position and orientation of an unmanned helicopter based on vanishing line information. Computer Engineering and Applications. 2004. V. 9.
24. Lukyanov O.E., Zolotov D.V., Espinosa Barsenas O.U., Komarov V.A. Determining aerodynamic characteristics of small unmanned aerial vehicles involving flight experiment. Vestnik of Samara University. Aerospace and Mechanical Engineering. 2023. V. 22, no. 3. P. 59-74.' (In Russ.). DOI: 10.18287/2541-7533-2023-22-3-59-74
25. Tapia E. A note on the computation of high-dimensional integral images. Pattern Recognition Letters. 2011. V. 32, Iss. 2. P. 197-201. DOI: 10.1016/j.patrec.2010.10.007
26. Jahne B., Scharr H., Korkel S. Principles of filter design. Handbook of Computer Vision and Applications. V. 2. Signal Processing and Pattern Recognition. Academic Press, 1999. P. 125-151.
27. Canny J. A computational approach to edge detection. IEEE Transactions on Pattern Analysis and Machine Intelligence. 1986. V. 8, Iss. 6. P. 679-698. DOI: 10.1109/tpami.1986.4767851
28. Gainutdinova T.Yu., Gainutdinov V.G., Latypov R.R., Mukhametzianov F.F. Sposob tochnoy posadki bespilotnogo letatel'nogo apparata i ustroystvo dlya realizatsii sposoba [Method for accurate landing of an unmanned aerial vehicle and device for implementing the method]. Patent RF, no. 2773978, 2022. (Publ. 14.06.2022, bull. no. 17)
