CC BY
7
3В дескриптор и его применение в алгоритме контурного анализа для автоматической посадки летательного аппарата
А. Е. Артемьев
Аннотация-В статье предлагается метод формирования трехмерного дескриптора объекта, который позволяет выполнять реконструкцию одномерного дескриптора контура и контура объекта. В первую очередь дескриптор предназначен для создания алгоритмов определения положении летательного аппарата по монокулярном изображению с целью повышения целостности навигационной информации на этапе посадки, но также может использоваться для определения ориентации космических аппаратов и других объектов, а также для распознавания. Дескриптор представляет собой трехмерное дискретное преобразование Фурье набора контуров. Процесс формирования 3D дескриптора включает в себя создание сцены при помощи графической библиотеки и вращение камеры вокруг объекта по орбитам с определенным шагом, при этом в каждом положении осуществляется выделение и сохранение контура для формирования набора контуров, из которых затем формируется 3D дескриптор. Для реконструкции одномерного дескриптора контура объекта в определенной пространственной ориентации используется двухмерная тригонометрическая интерполяция, для полной реконструкции контура трехмерная интерполяция. Преимуществом предложенного дескриптора является возможность быстрого вычисления инвариантного к вращению и масштабу одномерного дескриптора контура для определения углового положения и распознавания бестекстурного объекта на изображении. Возможность создания гладкой целевой функции на базе предложенного 3D дескриптора существенно упрощает поиск решения.
Моделирование с применением разработанного дескриптора в алгоритме определения пространственного положения летательного аппарата показало более высокое быстродействие по сравнению с известными методами так время вычисление ориентации составило 0.25 мс, при этом среднеквадратичная ошибка определения углов ориентации составила 0.23-0.3°.
Ключевые слова—контурный анализ, пространственное положение, 3D дескриптор Фурье, компьютерное зрение.
I. Введение
Существует ряд работ, в которых решаются задачи распознавания, определения угловых и линейных координат объекта по его монокулярному изображению. В
Статья получена 10 марта 2024.
Артемьев А. Е.: ФАУ ГосНИИАС, Москва (e-mail: arsoft@ mail.ru)
частности, можно отметить работы [1] - [9], в которых выполнялось определение пространственного положения летательного аппарата или космического аппарата. При наблюдении за данными объектами при помощи камеры в определенных условиях освещения невозможно наблюдать их текстуру или грани (например, при съемке против источника освещения) и соответственно затруднительно для решения задачи определения ориентации применить хорошо себя зарекомендовавшие алгоритмы нахождения ключевых точек SURF, SIFT и им подобные. Также при наличии только силуэта объекта проблематично использовать алгоритмы отслеживания граней. В этих обстоятельствах для оценки пространственного положения можно использовать алгоритмы контурного анализа. Традиционно для распознавания и определения положения объекта по контуру выполняют сравнение наблюдаемого контура с эталонным контуром. При этом извлечение эталонного контура как правило осуществляется следующими двумя способами:
- эталонный контур извлекается из заранее сформированной базы данных;
- эталонный контур извлекается из изображения, сформированного с помощью графической библиотеки на основе 3D модели объекта.
В первом случае создается база данных эталонных контуров или дескрипторов контуров, для различных угловых положений объекта. Во втором случае с помощью графической библиотеки выполняется отрисовка объекта с определенным пространственным положением и осуществляется выделение контура. Первый способ как правило применяется при желании получить высокое быстродействие, что достигается путем уменьшения количества операций сравнения за счет ограничения количества элементов базы данных. Однако такой подход снижает точность определения пространственного положения, поскольку чем меньше контуров в базе, тем больше расстояние между двумя угловыми положениями. При этом большое угловое расстояние между соседними эталонными контурами приводит к большой ошибке в промежуточных положениях. Увеличение же размера базы данных приводит к существенному снижению быстродействия, поскольку в квадратичной зависимости увеличивается количество операций сравнения. Для повышения точности в ряде работ используется усреднение коэффициентов дескрипторов соседних контуров, однако, такой подход не дает существенного эффекта. Второй способ имеет большую точность по-
скольку в графической библиотеке с высокой точностью можно задать произвольное угловое положение 3Б объекта и в этом случае не возникает проблемы промежуточных положений. Тем не менее данный способ менее быстродействующий т. к. вращение объекта с сотней тысяч или миллионом вершин требует существенных вычислительных затрат. Время определения пространственной ориентации с помощью подобных алгоритмов около 1 с.
Таким образом можно наблюдать проблему, которая заключается в том, что существующие методы не позволяют одновременно быстро и с высокой точностью извлекать эталонный контур. Для разрешения данной проблемы в статье предлагается эталонный 3Б дескриптор, который позволяет с высокой скоростью и с высокой точностью получать одномерный дескриптор контура для последующего сравнения в алгоритмах контурного анализа.
Сравнение наблюдаемого контура с эталонными контурами из базы данных может выполняться различными способами, например, с помощью: нормированного скалярного произведения, корреляционной функции, различных моментов (Ху, псевдо-Цернике), различных дескрипторов (цифровые, Фурье, корреляционные). При контурном анализе дескрипторы Фурье как правило используют из-за их следующих полезных свойств: инвариантность к вращению, масштабированию и перемещению, линейность. Последнее свойство использовалось в работе [1] и в некоторых других для грубой интерполяции, где промежуточный контур между двумя угловыми положениями вычислялся как среднее коэффициентов ДПФ (дискретного преобразования Фурье). В результате такого усреднения получается некий промежуточный эталонный контур, что позволяет повысить точность распознавания и определения пространственной ориентации. Тем не менее подобное усреднение все равно не дает приемлемого результата. Для преодоления данного недостатка в статье предлагается перейти от набора отдельных одномерных дескрипторов к трехмерному дескриптору на основе ДПФ. В этом случае коэффициенты ДПФ могут быть использованы для тригонометрической интерполяции одним из свойств которой является увеличение точности с увеличением количества используемых членов (гармоник) в отличие, например, от полиномиальной интерполяции. Указанное свойство тригонометрической интерполяции позволяет управлять соотношением точность-быстродействие, что было использовано для разработки точного и быстродействующего алгоритма определения пространственной ориентации объекта. Еще одним преимуществом 3Б дескриптора на основе ДПФ является возможность создания на его основе гладкой целевой функции, что позволяет перейти от поиска решения путем перебора к поиску на основе решения оптимизационной задачи.
Стоит отметить, что идентификация объектов с помощью дескрипторов на основе ДПФ предложена Р. Л. Косгриффом (Cosgriff) в 1960 г [10]. Также дескрипторы Фурье используются для описания геометрических фигур и проведения контурного анализа [11], [12]. Наиболее свежие работы в части Фурье дескрипторов можно найти по ссылкам [13] - [15].
II. Основная часть
А. Кодирование контуров бинарных изображений Контуры бинарных изображений могут быть закодированы различными способами, например:
- кодирование по трем признакам: длине текущего элементарного вектора, направлению поворота при переходе к следующему элементарному вектору и углу между соседними элементарными векторами;
- кодирование текущего элементарного вектора трёхразрядным кодом от 0 до 7 - цепной код Фримена;
- кодирование текущего элементарного вектора двумя его проекциями на оси координат с началом отсчета, совмещенным с началом элементарного вектора - двумерный код;
- полигональное представление вектора, получающееся при его аппроксимации линейными сегментами;
- задание элементарных векторов восемью комплексными числами;
- Р-представление контура, основанное на проведении в области изображения ряда равноотстоящих сечений параллельно координатной оси и определении координат точек пересечения с контуром.
- представлении линии контура полярным кодом. На изображении выбирается полюс - начало отсчета, от которого формируется последовательность радиус-векторов.
- представление линии контура в виде функции комплексного переменного.
Детальное описание восьми основных способов кодирования контуров приводится в [12], с.12. В данной работе для представления контура предлагается использовать полярную систему координат. В этом случае на изображении выбирается полюс - начало отсчета, от которого формируется последовательность радиус-векторов. Данное представление предлагается привести в еще более простой вид, когда угловое положение радиус-векторов выходящие из полюса задается через фиксированный угловой интервал, при этом конец нулевого вектора располагается горизонтально справа от полюса контура. Тогда для задания контура достаточно использовать только длины векторов. На рис. 1 проиллюстрирован данный способ задания контура.
13
Рис. 1. Положение узловых точек контура при выполнении ДПФ контура для N = 32 , цифрами указаны номера радиусов в последовательности Х(т)
Кратко рассмотрим дискретное преобразование Фурье:
1\ -L
С (к) = - ^ X(m)Wkm
где, С (к) - комплексные коэффициенты ДПФ; к,т = 0,1,...,N- 1; Ш = ехр(—2п/И); N - количество узловых точек, взятых для выполнения ДПФ; Х(т) - последовательность действительных или комплексных чисел. Условимся, что для контура Х(т) - это набор действительных чисел, которые являются радиусами от центроида контура до узловых точек контура, см. рис. 1. Узловые точки контура можно рассматривать как точки, заданные в полярной системе координат, где полярные углы задаются как т2п/М .
Набор коэффициентов Д ПФ С (к) определяется как дескриптор Фурье. Хотя модули коэффициентов ДПФ инвариантны к вращению они не инвариантны к масштабированию. Если выполнить нормирование коэффициентов ДПФ по отношению к С(0), то дескриптор приобретет свойства инвариантности к масштабу. Подобного рода дескриптор, например, описан в работе [11]. Введем небольшую модификацию нормированного дескриптора:
С(1) С(2) С(М - 1)
DF = [С(0),
С(0)' С(0)..... С(0)
-]
итоге без потери точности снизить общее время вычисления за счет многоэтапного поиска. Многоэтапный поиск подразумевает, что на начальных этапах выполняется неточный, но быстрый поиск со множеством гипотез, затем выполняется итерационное повышение точности, а на финальном этапе осуществляется точный поиск.
где, DF -нормированные коэффициенты дескриптора Фурье. Как можно заметить в отличие от [11], где единица 1 = С (0) / С (0) не включена в состав дескриптора. в предлагаемом дескрипторе на первой позиции находится коэффициент С(0), такой поход позволяет сохранить информацию о реальных размерах контура, что в дальнейшем может использоваться для определения расстояния до объекта, при условии, что мы наблюдаем объект с заранее известными размерами.
Помимо упомянутой ранее тригонометрической интерполяции применение Фурье дескрипторов позволяет выполнять частотную фильтрацию наблюдаемого контура путем простого усечения высоких гармоник. Немаловажным полезным свойством Фурье дескрипторов является возможность распараллелить вычисления, например, реализовав их на базе GPU.
B. 3D Фурье дескриптор Необходимость создания трехмерного дескриптора объясняется тем, что одномерный Фурье дескриптор не в состоянии дать исчерпывающего описания объекта со сложной 3D поверхностью, поскольку контур такого объекта существенно изменяется при изменении углового положения (Рис. 2) поэтому обычно создают набор эталонных контуров, а поиск осуществлять перебором. Как упоминалось ранее в этом случае возникает проблема интерполяции промежуточных значений. Применение же предлагаемого трехмерного дескриптора позволяет решить две проблемы. Во-первых, перейти от перебора к непрерывным нелинейным оптимизационным алгоритмам за счет возможности создания гладкой целевой функции, что позволяет более точно обнаруживать минимумы и таким образом повышать вероятность правильного обнаружения глобального минимума. Во-вторых, управлять соотношением скорость-точность и в
А Д
► Iplii
V
< +o
А À
i> -ii
Рис. 2. Эталонные контуры при различных угловых положениях вертолета
Первое упоминания 3D дескриптора попадается в работе 1986 года [16]. Дескриптор предлагалось использовать для представления и реконструкции 3D форм человеческого тела или органов в медицинских целях. Указанный 3D дескриптор формируется на основе двухмерного ДПФ набора контуров сечений объекта. В целом двухмерного ДПФ сечений достаточно для полного описания поверхности 3D объекта, однако наблюдаемый контур объекта в большинстве случаев не соответствует сечению объекта и поэтому прямое извлечение контура объекта из подобного дескриптора затруднено. Другой вариант — это создание 3D дескриптора на основе трехмерного ДПФ, который не требует дополнительных вычислений на реконструкцию и построение контура, а извлечение одномерного дескриптора происходит напрямую при помощи двумерной тригонометрической интерполяции.
На рис. 3 представлена наглядная визуализация процесса формирования 3^ дескриптора. В качестве исходных данных для метода берется 3D объект заданный с помощью полигональной сетки, например, это могут быть файлы типа *.stp,*.obj и подобные. При помощи графической библиотеки формируется сцена с объектом. В первоначальный момент камера располагается перед объектом на определенном фиксированном расстоянии, и ее оптическая ось проходит через начало координат объекта, который далее для простоты будем называть центром объекта. Отметим, что центр объекта не обязательно совпадает с его центром масс. При формировании 3D дескриптора камеру вращают по орбитам вокруг объекта с определенным шагом, и для каждого положения выделяют контур. Более подробно процесс
формирования эталонного 3D дескриптора можно описать следующими шагами:
- выполнить поворот камеры вокруг объекта по орбитам, при этом наклон орбит изменять с шагом 360/И3, а вращение по орбитам выполнять с шагом 360/с вычислением полярных координат контура в каждом положении и с формированием трехмерной таблицы контуров;
- выполнить вычисление одномерных дескрипторов контуров и формирование таблицы одномерны дескрипторов - БР(к1, т2, т3);
- сформировать трехмерный дескриптора, в соответствии с выражением 1.
случае эталонный контур и наблюдаемый контур связаны соотношением ОР2(к) = Ш-кт1ОР0(к) , где (к) - наблюдаемый контур; ОР0(к) - эталонный контур; Ш = ещ>(—12п/ИУ; т1 = уИ1/(2п). Таким образом, при вращении по углу у изменение формы контура не происходит и модули коэффициентов одномерного дескриптора неизменны, отличие заключается в сдвиге фаз, который определяет вращение у. Такой подход упрощает целевую функцию и определяет выбранный порядок вращений X, У, X' . В процессе генерации эталона камера, двигаясь по орбитам, последовательно устанавливается в различные угловые позиции на каждой из которых выполняется дискретное преобразование Фурье наблюдаемого контура и нормализация коэффициентов. Получаемые нормализованные коэффициенты записываются в таблицу размером х N1 х N3, где Ы2, Ы3 - количество точек ДПФ для каждого измерения. После заполнения таблицы последовательно выполняются двухмерное ДПФ и трехмерное ДПФ после чего формирование 3-мерного дескриптора считается завершенным. На рис. 5 представлена схема хранения данных и порядок выполнения ДПФ.
Рис. 3. Визуализация процесса формирования 3Б дескриптора
На рис. 3 в качестве объекта выбран вертолет, который размещен внутри сферы, на которой отображены орбиты вращения. Орбиты показаны черными линиями, а позиции (положения камеры), с которых осуществляется «съемка» и извлечение контуров в виде черных и серых маленьких сфер. Например, если первая это горизонтальная орбита, то следующая орбита будет наклоненная на угол 360/Ы3 и. т. д. На каждой орбите выполняется 360/Ы2 выделений контуров.
При контурном анализе угловое положение камеры определяется углами а, р, у относительно начала координат 3D модели объекта, что соответствует вращениям в следующем порядке - X, У, X', где ' означает положение оси после предыдущего вращения. Для объекта направление вращений и положение осей задаются в соответствии с рис. 4. Нос объекта направлен вдоль оси X, вертикальная ось по направлению оси У.
У
X
1
Рис. 4. Система координат объекта и направление вращений (указано для вращения объекта)
При создании эталона вращение камеры осуществляется только по углам а, р вращение по углу у не требуется. Это связано с тем, что вращение по углу у осуществляется вокруг оптической оси камеры и в этом
Рис. 5. Порядок выполнения ДПФ и схема хранения данных
Выражение для описания дескриптора на основе трехмерного ДПФ выглядит следующим образом:
БРз(к1, к2, кз) =
^ т2,тзу/ф^У/ЗГ3 (1) где, БР3(к1,к2,к3) - коэффициенты трехмерного дескриптора; Ш2 = ехр(—12^/^2), = exp(-i2л/N3)■; ВР(к1, т2, т3) - 3D таблица коэффициентов одномерных дескрипторов ДПФ при различных положения объекта; т2 = 0,1,...,И2- 1; т3 = 0,1,...,^ - 1, N-1, Ы2, Ы3 - количество точек для выполнения ДПФ по соответствующим измерениям.
В целом, 3-мерный ДПФ дескриптор избыточен с точки зрения описания 3D поверхности и на первый взгляд требует существенных вычислительных затрат т. к. сложность алгоритма интерполяции коэффициентов одномерного дескриптора будет равняться О^Л^Л^). Однако объем вычислений можно существенно сократить за счет усечения высоких гармоник и применения многостадийного алгоритма с поэтапным повышением количества гармоник. Практическое моделирование показало, что диапазон значений И2,Ы3 в зависимости от требуемой точности и быстродействия для последнего этапа составляет от 6, 41, 41 до 9,87,87 и дальнейшее увеличение количества гармоник существенно не повышает точность. При этом для верхних значений Ы2, Ы3 время извлечения одного контура составляет порядка 6.3е-6 с. Время извлечения одного контура на этапе приблизительного поиска составляет 2.7е-7 с, при конфигурации 3, 15, 15. Общее время идентификации и определения пространственной ориентации одного объ-
екта составляет от 0.2 до 0.35 мс, в режиме слежения менее 0.1 мс.
C. Определение угловых координат объекта
Распознавание объекта и определение его углового положения с помощью предложенного 3D дескриптора осуществляется численными методами путем решения следующей системы нелинейных уравнений:
fk1 (™i,™-2>тз) = DFZ(k-,т-) - DF3(k-,m2,m.3) = 0 где ki- индекс коэффициента одномерного дескриптора на основе ДПФ, mi,m2,m3- действительные числа, определяющие угловое положение камеры относительно вертолета, DFZ - коэффициенты дескриптора наблюдаемого контура, DF3 - коэффициенты дескриптора эталона, получаемые в результате двухмерной интерполяции из 3ДПФ дескриптора, fkl (mi, т2, т3) - вектор функция векторного аргумента, которая определяет разность между ДПФ коэффициентами дескриптора наблюдаемого объекта и эталонными коэффициентами.
Решение подобной системы уравнений может быть сведено к задаче минимизации целевой функции. Целевую функцию предлагается задавать в виде суммы квадратов (метод наименьших квадратов) функций fk1 (mi, т2, тз). Таким образом, если система задана в виде fk± (х) = 0, где х = (mi, т2, т3) - вектор, определяющий угловое положение камеры, то целевая функция примет следующий вид:
fojb ОО = fklmln ОО + •" + f£lmax(x), а задача минимизации будет записываться следующим образом:
fojb (xl = m^nxen(fojb О)),
где X - множество возможных положений камеры относительно объекта, X* - решение задачи минимизации.
Задача минимизации может быть легко решена с помощью численных алгоритмов оптимизации. При этом выбранный порядок вращений и применение преобразования Фурье значительно упрощает вычисление матрицы Якоби. Также возможно вычисление матрицы Гессе без существенных дополнительных вычислительных затрат, что может иметь смысл на финальных этапах оптимизации для сокращения числа итераций при близости к минимуму.
III. Практическая реализация и моделирование
A. Формирование эталона Для формирования базы эталонов было реализовано программное обеспечение создания эталона из 3D модели объекта. Программа была реализована на языке C++ с использованием библиотеки OpenCV. Дискретные преобразования Фурье по углам у, ß, а выполнялось для узловых точек, которые определяются через значения Ni = 360, N2 = 180, N3 = 180. При формировании трехмерного дескриптора высокие гармоники отсекались и итоговый размер 3D дескриптора составил 10x88x88 комплексных элементов типа float, что соответствует размеру 0,59 Мбайт. В зависимости от требуемой точности размер эталона может быть уменьшен до 6x41x41, что соответствует размеру в 77 Кбайт, при этом возрастет и быстродействие.
В. Моделирование и оценка
На основе трехмерного дескриптора, описанного в данной статье, был разработан многоступенчатый быстродействующий и высокоточный алгоритм определения угловых координат бестекстурного объекта по контуру, который продемонстрировал более высокое быстродействие и точность по сравнению с ранее опубликованными алгоритмами, детальное описание алгоритма и сравнение приводится в [17]. На рис. 6 показан кадр видео, которое было получено по результатам моделирования, ознакомиться с видео можно по ссылке [18].
Etalon Measuredl Error 1 Corr.
YAW -170,3 -176,1 1 0,2 1 0, 0
PITCH 5, 9 S,9 1 -0,0 1 0, 4
ROLL -1.3 -1,3 1 0,0
X 115,0 114,8 1 -0,2
Y 0, 9 0,9 1 0,0
Z -0,0 -0,0 1 0,0
Di St 115, 0 114,8 1 -0,2
Cent.X +2 +2 1
Cent,Y -30 -30 1
Time RunTime Phase 11 Phase 21 Phase 3
Curr 28,63 0,07 1 0, 12 1 0,08
Min 0,04 1 0,03 1 0,06
0,28 a, le
го за
ÏS »
120 1*0
Рис. 6. Окно программы и кадр видео, который был получен при моделировании посадки летательного аппарата (вертолет Ми-8)
На рис. 6: yaw - рыскание (°); pitch - тангаж (°); roll -крен (°); X - продольная линейная координата (м); Y -высота над поверхностью (м); Z - боковое отклонение (м); Etalon - эталонное значение; Measured - измеренное значение; Error - ошибка; Corr - корректирующие углы, которые зависят от смещения центроида контура от оптической оси камеры; Cent. X, Cent. Y - отклонение центроида контура от проекции центра масс объекта по координатам изображения X, Y; Time - время; Phase 1-
3 - время выполнения стадий алгоритма оптимизации; Total - общее время оптимизации; Runtime - время моделирования; черная точка в пределах силуэта объекта -центроид контура; красная точка - центр вращения или центр масс.
Упомянутый алгоритм условно включает три стадии: приблизительный поиск, итерационное повышение точности, поиск точного решения. На первой стадии поиск начинается из 216 начальных точек и для двумерной интерполяции используется минимальное количество гармоник дескриптора, что позволяет найти приблизительные решения с минимальными временными затратами, при этом сразу же отбрасываются решения с большой невязкой, а также выполняется кластеризация для объединения близких решений. На второй стадии, после существенного сокращения гипотез с 216 до приблизительно 28, итерационно увеличивается количество гармоник интерполяции эталонного контура, что повы-
шает точность интерполяции на каждой итерации. Дополнительно на каждой итерации сокращается количество гипотез и к концу второй стадии остаётся всего три гипотезы. На финальной стадии количество гармоник дескриптора устанавливается в максимальное значение и после процесса оптимизации выбирается решение с минимальной невязкой.
Наиболее быстрый алгоритм опубликованный ранее [4] имеет быстродействие в диапазоне от 5 мс до 35 мс, в зависимости от требуемой вероятности распознавания, средняя абсолютная ошибка составляет 2-3° для метода на основе опорных точек и 4-5° для метода внешних контуров. Наиболее точный алгоритм представлен в [7] его быстродействие составляет 1115 мс, точность по курсу, тангажу, крену: 0.65°, 0.41°, 0.24°. Схожие результаты получены в работах [8], [9] на основе distance map и hybrid local feature методов. При этом алгоритмы выполнялись на компьютерах с сопоставимыми аппаратными характеристиками, суммарная информация по сравниваемым алгоритмам представлена в таблице 1
Таблица 1 - Сравнение наиболее точных и быстродействующих алгоритмов
Источник Время, мс Вычислительная платформа Угол Средняя ошибка
[8] 1467 3.4 GHz CPU and 16 GB RAM ч> 1.033°
ß 0.693°
Y 1.540°
[9] 1311 3.4 GHz CPU and 16 GB RAM Ф 0.886°
ß 0.352°
Y 0.301°
[7] 1115 3.4 GHz CPU and 16 GB RAM Ф 0.653°
ß 0.411°
Y 0.244°
[4] 5-35 Intel Core2 Quad Q8200 2.3-3 GHz (SSE 4.1) Ф, ß, Y 2-3°
4-5°
статья 0.20 -0.35 Intel® Core i7-6700 CPU 3.4 ГГц (4-ре ядра, AVX 256) 0.16°-0.11°
ß 0.18°-0.09°
Y 0.24°-0.16°
IV. Заключение
В работе был представлен метод формирования 3Б эталонного дескриптора на базе трехмерного дискретного преобразования Фурье. Предложенный 3Б дескриптор сокращает время извлечения эталонного контура по сравнению с методами 2Б-3Б сопоставления, предоставляет возможность осуществлять высокоточную интерполяцию по сравнению с методами, которые выполняют сравнение эталонных контуров путем перебора. На основе представленного дескриптора был разработан алгоритм точность и быстродействие, которого превосходят результаты ранее опубликованных алгоритмов. В частности, моделирование на синтезированных изображениях показало высокое быстродействие алгоритма, порядка 0.20-0.35 мс в режиме распознавания объекта и порядка 0.1-0.3 мс в режиме слежения, среднеквадратичная ошибка определения углов ориентации составила 0.23° - 0.3°.
Предложенный метод формирования эталонного 3Б
дескриптора может быть применен для разработки алгоритмов контурного анализа, где требуется высокое быстродействие и высокая точность. Например, для алгоритмов систем автоматической посадки летательных аппаратов и беспилотных летательных аппаратов, в условиях медленно меняющегося фона. Для контроля пространственного положения космических аппаратов на орбите, например, при их стыковке. В сложных сценах во взаимодействии с нейросетевыми алгоритмами, когда выделение контура простыми алгоритмами затруднено.
Библиография
[1] T.P. Wallace, P.A. Wintz, "An efficient three-dimensional aircraft recognition algorithm using normalized Fourier descriptors," Computer Graphics and Image Processing, vol.13, no. 2, pp. 99-126, 1980. doi: 10.1016/S0146-664X(80)80035-9.
[2] M.G. Breuers, N. de Reus, "Image-based aircraft pose estimation: A comparison of simulations and real-world data," In Proc SPIE, vol. 4379. 472-479. doi: 10.1117/12.445395.; H. Poor, An Introduction to Signal Detection and Estimation, ch. 4.NY, Springer-Verlag, 1985.
[3] О.В. Малышев, Определение пространственного положения и распознавание типов летательных аппаратов на основе контурного анализа: дисс. ... канд. техн. наук. Рыбинск, 2011.
[4] А.С. Мирзоян, Разработка систем распознавания и позиционирования летательных аппаратов и наземных объектов на основе методов вычислительной геометрии: дисс. ... канд. техн. наук. -Рыбинск, 2017.
[5] T. Fu, X. Sun, "The relative pose estimation of aircraft based on contour model," In International Conference on Optical and Photonics Engineering (icOPEN 2016), SPIE, vol. 10250, pp. 559-564, 2017. doi: 10.1117/12.2267118.
[6] D. Fu, S. Han, W. Li, H. Lin, "The pose estimation of the aircraft on the airport surface based on the contour features," IEEE Transactions on Aerospace and Electronic Systems, vol. 59, no. 2, pp. 817-826, 2022. doi: 10.1109/TAES.2022.3192220.
[7] X. Zhang, Z. Jiang, H. Zhang, Q. Wei, "Vision-based pose estimation for textureless space objects by contour points matching," IEEE Transactions on Aerospace and Electronic Systems, vol. 54, no. 5, pp. 2342-2355, 2018.
[8] Leng D, Sun W. Contour-based iterative pose estimation of 3D rigid object. IET Computer Vision, 2011, 5, (5), pp. 291-300.
[9] X. Zhang, H. Zhang, Q. Wei, et al., "Pose Estimation of Space Objects Based o n Hybrid Feature Matching of Contour Points," In Advances in Image and Graphics Technologies, pp. 184-191, 2016.
[10] R.L. Cosgriff, Identification of Shape, Technical Report 820-11, ASTIA AD-25-4792, Ohio State University Research Foundation. Columbus, Dec. 1960. pp. 826-840.
[11] P.L.E. Ekombo, N. Ennahnahi, M. Oumsis, M. Meknassi, "Application of affine invariant Fourier descriptor to shape- based image retrieval," International Journal of Computer Science and Network Security, vol.9, no. 7, pp. 240-247, 2009.
[12] Я.А. Фурман, А.В. Кревецкий и др. Введение в контурный анализ; приложения к обработке изображений сигналов И.Л Его-шина, А.Н. Леухин; Под ред. Я.А. Фурмана. 2-е изд., испр. М.: ФИЗМАТЛИТ, 2003.
[13] L. Bowen, S.S. Raja, ... & K. Mawien, A Fourier descriptor and PSCS-RBF fusion method for pumping machine fault diagnosis. 10.21203/rs.3.rs-2878163/v1.
[14] M. Andrews, R. Kakarala, "Shape simplification through polygonal approximation in the Fourier domain,". In Proceedings of SPIE - The International Society for Optical Engineering. 2015, 9406. 10.1117/12.2078148.
[15] N. Liao, B. Guo, Z. Li, Y. Zheng, "An Advanced Fourier Descriptor Based on Centroid Contour Distances," Journal of Physics: Conference Series, vol. 1735, p. 012002, 2021. doi: 10.1088/17426596/1735/1/012002.
[16] K.S. Park, N.S. Lee, "A three-dimensional Fourier descriptor for human body representation/reconstruction from serial cross sections," Comput Biomed Res., vol. 20, no. 2, pp. 125-140, 1987. doi: 10.1016/0010-4809(87)90040-1.
[17] A.E. Artemyev, High-speed and high-precision algorithm for determining the spatial position of a three-dimensional texturless object based on contour analysis. [Online]. URL: http://artemyev.tech/ (date: 25.12.2023), to be published.
[18] A.E. Artemyev, Real-time and precision attitude and position estimation of a three-dimensional object on image. [Online]. URL: https://www. youtube.com/watch ?v=LKqkDY9RVzs (date:
12.04.2023).
3D descriptor and its application in contour analysis algorithm for automatic aircraft landing
A. E. Artemyev
Abstract—The article proposes a method for forming a three-dimensional object descriptor, which allows to reconstruct a one-dimensional contour descriptor and an object contour. Descriptor is designed to create algorithms for estimating the angular position of an aircraft from a monocular image to increase the integrity of navigation data at the landing phase, but it can also be used to estimate the orientation of spacecraft and other objects, as well as for recognition. The descriptor is a three-dimensional discrete Fourier transform of a set of contours. The process of forming a 3D descriptor includes creating a scene using a graphics library and rotating the camera around the object in orbits with a certain step, at each position a contour is extracted and saved to create a set of contours, from which a 3D descriptor is then formed. Two-dimensional trigonometric interpolation is used to reconstruct the one-dimensional contour descriptor of an object in an arbitrary spatial orientation, and three-dimensional interpolation is used for contour reconstruction. The advantage of the proposed descriptor is the ability to quickly calculate a one-dimensional contour descriptor invariant to rotation and scale to determine the angular position and recognize a texture-less object in the image. The ability to create a smooth objective function based on the proposed 3D descriptor greatly simplifies the optimization search.
Keywords—contour analysis, aircraft pose, 3D Fourier descriptor, computer vision.
REFERENCES
[1] T.P. Wallace, P.A. Wintz, "An efficient three-dimensional aircraft recognition algorithm using normalized Fourier descriptors," Computer Graphics and Image Processing, vol.13, no. 2, pp. 99-126, 1980. doi: 10.1016/S0146-664X(80)80035-9.
[2] M.G. Breuers, N. de Reus, "Image-based aircraft pose estimation: A comparison of simulations and real-world data," In Proc SPIE, vol. 4379. 472-479. doi: 10.1117/12.445395.; H. Poor, An Introduction to Signal Detection and Estimation, ch. 4.NY, Springer-Verlag, 1985.
[3] O.V. Malyshev, Determination of spatial position and recognition of types of aircraft based on contour analysis: diss. ...cand. tech. sci. Rybinsk, 2011. [In Rus]
[4] A.S. Mirzoyan, Development of recognition and positioning systems for aircraft and ground objects based on computational geometry methods: dis.....cand. tech. sci. Rybinsk, 2017. [In Rus]
[5] T. Fu, X. Sun, "The relative pose estimation of aircraft based on contour model," In International Conference on Optical and Photonics Engineering (icOPEN 2016), SPIE, vol. 10250, pp. 559-564, 2017. doi: 10.1117/12.2267118.
[6] D. Fu, S. Han, W. Li, H. Lin, "The pose estimation of the aircraft on the airport surface based on the contour features," IEEE Transactions on Aerospace and Electronic Systems, vol. 59, no. 2, pp. 817-826, 2022. doi: 10.1109/TAES.2022.3192220.
[7] X. Zhang, Z. Jiang, H. Zhang, Q. Wei, "Vision-based pose estimation for textureless space objects by contour points matching," IEEE Transactions on Aerospace and Electronic Systems, vol. 54, no. 5, pp. 2342-2355, 2018.
[8] Leng D, Sun W. Contour-based iterative pose estimation of 3D rigid object. IET Computer Vision, 2011, 5, (5), pp. 291-300.
[9] X. Zhang, H. Zhang, Q. Wei, et al., "Pose Estimation of Space Objects Based o n Hybrid Feature Matching of Contour Points," In Advances in Image and Graphics Technologies, pp. 184-191, 2016.
[10] R.L. Cosgriff, Identification of Shape, Technical Report 820-11, ASTIA AD-25-4792, Ohio State University Research Foundation. Columbus, Dec. 1960. pp. 826-840.
[11] P.L.E. Ekombo, N. Ennahnahi, M. Oumsis, M. Meknassi, "Application of affine invariant Fourier descriptor to shape- based image retrieval," International Journal of Computer Science and Network Security, vol.9, no. 7, pp. 240-247, 2009.
[12] Ya.A. Furman, A.V. Krevetsky et al. Introduction to contour analysis; applications to signal image processing I.L. Egoshina, A.N. Leukhin; Ed. Y.A. Furman. 2nd ed., rev. Moscow, FIZMATLIT, 2003. [In Rus]
[13] L. Bowen, S.S. Raja, ... & K. Mawien, A Fourier descriptor and PSCS-RBF fusion method for pumping machine fault diagnosis. 10.21203/rs.3.rs-2878163/v1.
[14] M. Andrews, R. Kakarala, "Shape simplification through polygonal approximation in the Fourier domain,". In Proceedings of SPIE - The International Society for Optical Engineering. 2015, 9406. 10.1117/12.2078148.
[15] N. Liao, B. Guo, Z. Li, Y. Zheng, "An Advanced Fourier Descriptor Based on Centroid Contour Distances," Journal of Physics: Conference Series, vol. 1735, p. 012002, 2021. doi: 10.1088/17426596/1735/1/012002.
[16] K.S. Park, N.S. Lee, "A three-dimensional Fourier descriptor for human body representation/reconstruction from serial cross sections," Comput Biomed Res., vol. 20, no. 2, pp. 125-140, 1987. doi: 10.1016/0010-4809(87)90040-1.
[17] A.E. Artemyev, High-speed and high-precision algorithm for determining the spatial position of a three-dimensional texturless object based on contour analysis. [Online]. URL: http://artemyev.tech/ (date: 25.12.2023), to be published.
[18] A.E. Artemyev, Real-time and precision attitude and position estimation of a three-dimensional object on image. [Online]. URL: https://www. youtube.com/watch ?v=LKqkDY9RVzs (date: 12.04.2023).
Anatoliy E. Artemyev, State Research Institute of Aviation Systems (GosNIIAS), Russia, Moscow, chief of lab, (e-mail: [email protected]).
